[es]数据分页方案 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
Gorgine
V2EX    程序员

[es]数据分页方案

  •  
  •   Gorgine 2022-07-06 13:00:43 +08:00 2038 次点击
    这是一个创建于 1201 天前的主题,其中的信息可能已经有所发展或是发生改变。

    a 、b 两个 index 是两种类型消息的索引 一个是直播间老师发的 一个是直播间学员发的 现在合并在一起 取了一个别名 c 这样我在查询的时候可以通过 c 查到所有消息 但是 a 和 b 的_id 可能会存在重复。。

    现在遇到的问题是:分页数据重复问题 因为消息发得比较快 所以当翻页到第二页的时候 可能会出现已经出现过在第一页的数据

    首先想到的是通过_id 定位分页 就是拿上一页最大的_id 去查第二页的数据 但是:a 和 b 的_id 可能会重复(_id 不是自动生成的,mysql 表的 id 拉过来的),所以 pass ,,

    第二种方案是:通过一个固定的消息时间去搜索总数据 这样不会出现第二页出现第一页的数据的情况了 但是不太符合前端的场景

    类似于 APP 端的那种直播间 最新消息在最下面 要看历史消息要往上翻页 这种方案对于往上翻是满足的

    但前端做了轮训的功能 相当于要提供一个接口 返回增量消息 这种方案传一个固定时间点的话 返回的将是比这个时间点新的累计的消息 这样不行 如果是传当前页的最大消息时间来获取增量消息 又会出现数据重复问题(可能会出现上一页的消息 时间点重复的话)

    SO 如何解决 求助 V 友

    13 条回复    2022-07-06 17:38:25 +08:00
    loveyu
        1
    loveyu  
       2022-07-06 13:03:08 +08:00
    一次性把 id 全部查出来缓存,然后分页,第二页走缓存
    HackerJax
        2
    HackerJax  
       2022-07-06 13:08:31 +08:00 via iPhone
    搜索 es 游标查询
    Gorgine
        3
    Gorgine  
    OP
       2022-07-06 13:11:18 +08:00
    @HackerJax 这个看过 领导说 场景不适合 scroll 的话时间可能得设置很久 比较浪费资源吧
    Gorgine
        4
    Gorgine  
    OP
       2022-07-06 13:13:01 +08:00
    好不容易知道还有种分页叫 search after 可以解决翻页数据重复的问题 结果后来知道_id 可能是重的。。
    Gorgine
        5
    Gorgine  
    OP
       2022-07-06 13:15:09 +08:00
    反正要解决两个问题 一个是翻页消息不能重 另一个是方便拉取新 /增量消息
    crysislinux
        6
    crysislinux  
       2022-07-06 13:33:22 +08:00 via Android
    前端自己过滤掉重复的就好了,取的时候多取几条。像推荐之类的也是这样防止重复的
    reter
        7
    reter  
       2022-07-06 13:46:56 +08:00
    search after 也可以啊.
    确定一条消息的唯一性可用的属性有:发送时间,消息 ID ,消息来源。只要 "消息 ID"+"消息来源" 的组合你如果能保证唯一性就可以。

    然后用 search after 搜索,排序用这三个字段,就能保证不重复获取
    Gorgine
        8
    Gorgine  
    OP
       2022-07-06 14:02:07 +08:00
    @reter 我试了好像不行 时间一样的话 search after 下一页的时候就跳过了时间一样的数据了
    Gorgine
        9
    Gorgine  
    OP
       2022-07-06 14:03:01 +08:00
    @Gorgine search after 加其他字段组合
    Gorgine
        10
    Gorgine  
    OP
       2022-07-06 14:11:36 +08:00
    @reter 好像可以
    Gorgine
        11
    Gorgine  
    OP
       2022-07-06 14:12:18 +08:00
    @reter 第一页传啥呀 dsl search after 里面
    THESDZ
        12
    THESDZ  
       2022-07-06 15:46:33 +08:00
    @Gorgine #11 排好序,传空就行
    Gorgine
        13
    Gorgine  
    OP
       2022-07-06 17:38:25 +08:00
    @THESDZ @reter 感谢
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2667 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 31ms UTC 09:17 PVG 17:17 LAX 02:17 JFK 05:17
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86