推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
如何处理短期高并发写的问题，比如在一个消息刚刚发布的时候会有大量的点赞
aisensiy aisensiy 2014-01-09 01:50:36 +08:00 8025 次点击这是一个创建于 4299 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题所述，如果我使用的是 flask 这样的框架，需要如何调优这样的性能问题呢
 | 1 helone 2014-01-09 01:58:43 +08:00 压力来自数据库吧？ |
 | 2 virushuo 2014-01-09 02:46:42 +08:00 via iPad 把热点放在内存通常都能解决，大到内存解决不了的问题考虑mapreduce方式分布。 |
 | 3 beordle 2014-01-09 02:56:00 +08:00  5 这种需求本来最好在python里面完成，加上一个计数变量x，定时写入数据库。不过稍微大一些的python项目可以说是类似tornado的那样多个进程的架构了，进程间内存不能共享，所以python本身基本不能解决或者说代价比较大。必须使用memcache和redis这样的有独立进程的缓存程序。 如果直接操作数据库，点赞300次。就要 读 锁 写 各300次。性能非常差。如果加一个redis 的话。其中有一个定时dump机制，非常适合高并发。读写都在内存中。每隔一段时间才会写入硬盘。性能高2个数量级。 具体的实现 可以这样，写一个 给 get set都弄上一个 装饰器。连接到 redis的 incr就行了 |
| 4 beordle 2014-01-09 02:59:19 +08:00 说的是具体实现，可能不太详细 把 python函数装饰器实现cache python的redis库 redis的incr文档 这些关键字google一下就行了。 |
 | 5 chenniaoc 2014-01-09 06:57:22 +08:00 redis弱点是单线程,是个瓶颈. |
 | 6 cloudzhou 2014-01-09 09:51:03 +08:00 @chenniaoc 单线程不会成为瓶颈的，这个和网络复用有关，nginx也是单进程模式，当然你可以开启多个。 这个问题应该不难，redis生成临时计数器，按照一定时间回写到数据库。 |
 | 7 emohacker 2014-01-09 10:04:20 +08:00 @chenniaoc 多线程也有多线程的弊病，线程间的切换也是有开销滴，开发也没单线程来得纯粹，总之单线程也有单线程的好处，木有绝对完美滴解决方案，性能的优化都是基于实际需求遇到的困难为出发点的。 |
 | 8 vietor 2014-01-09 10:18:07 +08:00 做一个Command队列，牺牲实时性 |
 | 9 akira 2014-01-09 10:34:51 +08:00 队列+内存数据库 |
 | 10 est 2014-01-09 12:28:58 +08:00 统计多少次赞容易，但是每个人点一下一条行为记录就麻烦了。 |
 | 13 arzusyume 2014-01-09 19:42:27 +08:00 前阵子在解决某站点高并发投票的问题 程序本身是 PHP+MySQL.所有的写操作(投票/PV/验证码session)都完全交给了 memcache, IP日志的分析交给nginx去拦截刷票. 大概是每2分钟用 crontab 触发一个 php 把 memcache 的内容写入 MySQL 中.(一开始想直接全部读出写入,结果抛了个事务锁错误OTL, 改成每次读写XX条) 此外验证码也可以优化成预生成,不过考虑成本没去做 好吧说了半天和python无关的,总之就是尽可能的减少IO次数,多用缓存,减少计算量 |
Select Language