关于分库分表的查询思考 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
loveaeen
V2EX    MySQL

关于分库分表的查询思考

  •  
  •   loveaeen 2022-11-17 16:54:45 +08:00 2041 次点击
    这是一个创建于 1093 天前的主题,其中的信息可能已经有所发展或是发生改变。

    小弟最近在看关于数据在分库分页后的一些查询方式。 发现了有以下几种:

    1. 全局查询法的 limit 0,(x+y)大内存排序方式。
    2. 禁止跳页法的 id > x limit 10 的方式。
    3. 通过获取最小值的 offset ,在内存中排序后进行的二次查询法。

    主要有些疑惑的是第三种 假设: 分了两张表 user_1,user_2 ,在单表中默认查询为 limit 5,5 该页数据数据因删除等操作导致全部存在 user_1 表中,user_2 表不存在该页数据。 那么在「二次查询法」中的初次查询时,sql 已经被改写为 limit 2,5 在初次查询就已经缺失数据的情况下,「二次查询法」怎么解决这种问题呢。

    5 条回复    2022-11-17 19:04:05 +08:00
    xuanbg
        1
    xuanbg  
       2022-11-17 16:57:36 +08:00
    分表规则必须要解决一个问题:你需要知道在哪个表查询目标数据。
    loveaeen
        2
    loveaeen  
    OP
       2022-11-17 17:03:16 +08:00
    @xuanbg 我知道我有两张 user 分表,我也采用「二次查询法」来归并排序分页数据,但是某一页数据却全部都存在 user_1 表中,「二次查询法」如何解决该问题呢?
    我应该也没法提前知道这页数据具体在哪张表吧
    zoharSoul
        3
    zoharSoul  
       2022-11-17 17:17:45 +08:00
    这跟分库分表没关系吧
    xuanbg
        4
    xuanbg  
       2022-11-17 17:36:14 +08:00
    @loveaeen 数据分布不均匀的话,查列表先表 1 再表 2 不好么?
    pkoukk
        5
    pkoukk  
       2022-11-17 19:04:05 +08:00
    既然有 limit offset ,那就是要分页咯,稳定分页就意味着必须排序
    所以你的排序字段应该就是你的分表依据
    如果排序和分表没关系,那只能多表查完合并大内存排序了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1619 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 16:24 PVG 00:24 LAX 08:24 JFK 11:24
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86