mysql n+1 查询大家是怎么处理的 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
awanganddong
V2EX    MySQL

mysql n+1 查询大家是怎么处理的

  •  
  •   awanganddong 2021-06-13 22:18:03 +08:00 3400 次点击
    这是一个创建于 1660 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如果是单条件查询直接 select * from test where a in (1,2,3) 然后通过代码组合就可以了

    但是如果是多个查询条件怎么处理呢 select * from test where a=1 and b=2 and c=3 那个循环的变量值都不一样

    大家怎么处理这种 N+1 的查询

    13 条回复    2021-06-14 19:53:59 +08:00
    ming2050
        1
    ming2050  
       2021-06-13 22:39:38 +08:00
    我居然没看懂 ♂
    awanganddong
        2
    awanganddong  
    OP
       2021-06-13 22:44:20 +08:00
    比如现在查用户列表,然后有一个字段是通过循环查获取到的,现在怎么把这个字段改成只查数据库一次。
    查询条件是多项组合的。
    grittiness
        3
    grittiness  
       2021-06-13 23:00:02 +08:00
    如果要只执行一次,感觉可以写存储过程。不过多次执行性能也影响不大吧
    guisheng
        4
    guisheng  
       2021-06-13 23:09:51 +08:00 via iPhone
    数据量大的话用 es 是不是可以呢?不知道我理解的对不对。动态拼接多个参数不确定参数的个数以及复杂度。
    awanganddong
        5
    awanganddong  
    OP
       2021-06-13 23:23:57 +08:00
    现在这个接口属于 left join 3 张表然后再查询,所以正在想办法,一点点优化
    raaaaaar
        6
    raaaaaar  
       2021-06-13 23:31:04 +08:00 via Android
    一张表就加索引,多张表怎么优化都有下界,查询频率很高的话,考虑建张冗余表如何
    crclz
        7
    crclz  
       2021-06-14 00:53:58 +08:00
    您好,能给一个 minimal working example 吗?例如,将那 3 张表的字段都列出来,方便大家分析。

    因为我怀疑表的涉及有问题,导致无法顺畅实现业务。
    zvcs
        8
    zvcs  
       2021-06-14 08:00:45 +08:00 via iPhone
    维护多条件外键表
    qiayue
        9
    qiayue  
    PRO
       2021-06-14 08:20:29 +08:00
    这种场景,用缓存最合适
    拆分成 N 次查询,每次先从缓存中查询是否存在,缓存中没有,才从数据库查询
    PopRain
        10
    PopRain  
       2021-06-14 15:54:28 +08:00
    SQL SERVER : OUTER APPLY POSTGRESQL: LEFT JOIN LATERAL, 估计是你需要的,可以在子查询中引用左边表的字段做比较,在加上 top 1 order by (pg: order by limit 1) 选出需要的一条

    MySql 不了解,多表 join 性能太差了,被上面两个秒杀,没有用过
    awanganddong
        11
    awanganddong  
    OP
       2021-06-14 16:27:01 +08:00 via Android
    @qisyue 现在做了基于 aop 的缓存。
    你说的这种缓存,可以考虑。
    应该是变动不大的技术方案。
    其实耗时最近的是那个连表查询。
    但是现在还没办法引入 es 来进行替换。

    es 的话,我要建立一套数据同步机制,这个专门维护的话,增加项目复杂度。现在还不太愿意用。
    ajaxfunction
        12
    ajaxfunction  
       2021-06-14 16:58:28 +08:00
    以前老想一次性查,结果性能捉急,
    后来干脆就多查几次,完美解决。
    dk7952638
        13
    dk7952638  
       2021-06-14 19:53:59 +08:00
    json_object json_arrayagg 这俩函数就行
    json_arrayagg 低版本没有的话用 json_array 也行
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5279 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 08:12 PVG 16:12 LAX 00:12 JFK 03:12
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86