想了解下 大数据时代大网站都是怎么处理高并发的,最好能举个例子说明.本人菜鸟一只 - - 现在连mysql 几百并发都搞不定啊 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
timepast
V2EX    云计算

想了解下 大数据时代大网站都是怎么处理高并发的,最好能举个例子说明.本人菜鸟一只 - - 现在连mysql 几百并发都搞不定啊

  •  
  • timepast 2013-06-30 00:57:44 +08:00 5789 次点击
    这是一个创建于 4488 天前的主题,其中的信息可能已经有所发展或是发生改变。
    18 条回复    1970-01-01 08:00:00 +08:00
    Livid
        1
    Livid  
    MOD
    PRO
       2013-06-30 01:16:12 +08:00
    大数据需要的也是大机器,而且是不止一台大机器。当你手上有一堆大机器时,需要做的就是设计一个能够应对灾难状况的架构,及尽可能在流量高峰能够吃透这些机器的性能。到一家大公司参与一个有规模的项目,是学习这些技术最快的方式。
    likuku
        2
    likuku  
       2013-06-30 01:41:25 +08:00
    「现在连mysql 几百并发都搞不定啊」

    烂的SQL语句可以让机器表现变慢1万倍。

    充分利用缓存了没?用好缓存能解决绝大部分「性能问题」。

    web静态缓存(varnish/squid),对象内存缓存(memcached),db 查询缓存,等等。
    jjx
        3
    jjx  
       2013-06-30 08:59:22 +08:00
    都是靠横向和纵向扩展的

    业务系统的关系数据库查询和插入都很复杂的,就算你能把操作平均到10毫秒,一秒也就能处理100个,但实际情况是远远达不到。 但你可能通过扩展多个工作进程达到n倍的性能改进。

    但最终,数据库又是瓶颈,你只好再对数据库做扩展(但对关系数据库做扩展都比较麻烦), 或使用内存数据库。 很多人使用mongdb, 无非就是他标称的快和所谓的扩展能力。
    kennedy32
        4
    kennedy32  
       2013-06-30 10:43:45 +08:00
    可以考虑把数据库分离出来,aws或者aliyun都有提供单独的数据库服务器
    dongbeta
        5
    dongbeta  
       2013-06-30 10:46:57 +08:00
    高性能MySQL + 靠谱的生产环境项目
    timepast
        6
    timepast  
    OP
       2013-06-30 13:38:32 +08:00
    @likuku 只用了memcache
    timepast
        7
    timepast  
    OP
       2013-06-30 13:39:32 +08:00
    @Livid 确实需要这样一个机会
    akalanala
        8
    akalanala  
       2013-06-30 13:57:30 +08:00
    搞着几百并发的事, 操着几千万并发的心... 楼主还是先歇歇吧.
    keakon
        9
    keakon  
       2013-06-30 14:02:58 +08:00   2
    1. 尽量别依赖数据库来实现数据的关联关系。
    知乎内部的 MySQL 使用准则中,就禁止使用 JOIN、GROUP BY、子查询和外键。
    说实话,这等于使用非关系型数据库了。

    2. 查询主要靠缓存和索引。
    但千万别乱加缓存和索引,它们和表的结构、业务逻辑、使用频率之间有且只有一个最优解。
    你只能靠经验和测试来寻找,而且越到后期,这些就越难改动。

    做到这 2 点还有瓶颈的话,基本也是价值不菲司了,也不会缺有经验的 DBA 了。
    这时的瓶颈主要在写了,就通过分离读写、分库、使用 SSD 的方式来满足吧。这部分我也不熟。
    kevinv
        10
    kevinv  
       2013-06-30 14:53:30 +08:00
    上面说的都有道理,其实最基础的还是把程序优化好,再做其他的,要不然都是扯淡。
    Feobe
        11
    Feobe  
       2013-06-30 15:40:05 +08:00
    @kennedy32
    几百并发的优化用独立数据库服务器很扯淡,堪称治标不治本。

    这种情况把程序操作数据库的优化部分掌握好基础并实践就足够了。
    avichen
        12
    avichen  
       2013-06-30 15:52:30 +08:00
    1.把需要执行10秒的sql优化成0.x秒
    2.花钱买硬件
    darasion
        13
    darasion  
       2013-06-30 16:32:53 +08:00
    软件上能精简的都精简,甚至硬件都特殊定制。
    比如apache,不用的部分就连代码都删掉。比如google连服务器都自己造.
    akira
        14
    akira  
       2013-06-30 17:23:02 +08:00
    数据库几百并发不算少了吧,网站的话,都是日均百万pv级别了。

    之前在dbanote还是nosql看到过一篇讲新浪架构的,那个对你应该有点帮助。
    lhx2008
        15
    lhx2008  
       2013-07-04 08:24:08 +08:00
    几百并发可以玩玩memcache顶顶吧
    clino
        16
    clino  
       2013-07-04 08:56:58 +08:00
    openresty 不就是擅长高并发的嘛
    不过据我粗浅的了解,还是要注意很多方面才能扛得住
    cxe2v
        17
    cxe2v  
       2013-07-04 09:17:38 +08:00
    数据库几百并发,你做的项目有点大啊,有多少台服务器要连你的数据库啊?
    jianghu52
        18
    jianghu52  
       2013-07-09 11:06:16 +08:00
    @akalanala 人家有心就是好的。不要浇灭人家的热情
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2905 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 14:13 PVG 22:13 LAX 07:13 JFK 10:13
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86