V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 4418 days ago, the information mentioned may be changed or developed.
一个http请求队列。写个daemon。 一个http rest的api调用。
push一个url进去。 push-> url,callbackurl,post|get,postdata(optional),timeout(optional)
然后执行完毕后回调callbackurl（一般是在同一台服务器或内网服务器）
然后队列数量可能会有点大。N台服务器跑这个脚本。服务端随机把队列请求push到这些服务器上。
或者把队列内容push到redis里。N台服务器上的脚本不停的拿redis（用redis做m/s好做容灾）
python干这个能扛得住咩？
---
或者现在有木有类似的已经成型的产品能用的@.@
push一个url进去。 push-> url,callbackurl,post|get,postdata(optional),timeout(optional)
然后执行完毕后回调callbackurl（一般是在同一台服务器或内网服务器）
然后队列数量可能会有点大。N台服务器跑这个脚本。服务端随机把队列请求push到这些服务器上。
或者把队列内容push到redis里。N台服务器上的脚本不停的拿redis（用redis做m/s好做容灾）
python干这个能扛得住咩？
---
或者现在有木有类似的已经成型的产品能用的@.@
Supplement 1 Mar 25, 2014
补充一下，是这样的。
比如：
post http://127.0.0.1:py_port/create
url=http(s)://www.domain.com
method=post
timeout=30s
postdata=xxxxx
callbackurl=http://127.0.0.1:internal_system_port/some_id
python收到，入队列，python请求上面传递的url，根据method选择get还是post请求。然后把该服务器的输出post到callbackurl。
或者
redis.add:
{url:http, method:post, timeout:30, postdata:[], callbackurl=http }
python去读redis。
比如：
post http://127.0.0.1:py_port/create
url=http(s)://www.domain.com
method=post
timeout=30s
postdata=xxxxx
callbackurl=http://127.0.0.1:internal_system_port/some_id
python收到，入队列，python请求上面传递的url，根据method选择get还是post请求。然后把该服务器的输出post到callbackurl。
或者
redis.add:
{url:http, method:post, timeout:30, postdata:[], callbackurl=http }
python去读redis。
 | 1 towser Mar 25, 2014 有点像消息队列异步调用 |
 | 2 lch21 Mar 25, 2014 httpsqs 似乎能干这个 |
| 3 lch21 Mar 25, 2014 httpsqs 有各种语言的客户端 |
 | 4 xiaozi Mar 25, 2014 beanstalkd |
 | 5 gotounix Mar 25, 2014 celery? |
 | 7 cevincheung OP @lch21 要的是一个队列+执行器（暂时这么叫他吧）。sqs只是一个队列存储，并没有“执行者” |
| 8 cevincheung OP |
| 9 gotounix Mar 25, 2014 @cevincheung celery+redis |
| 10 cevincheung OP @gotounix 就是说python是ok的，能扛得住？ |
| 11 gotounix Mar 25, 2014 @cevincheung 能不能扛住，不知道！但是，提供了可以实现你需求的方法，你可以自己尝试、测试。除了你自己，没有人能帮你测试，大家的业务需求都不一样，应用环境也不一样，不能一概而论，下结论。 |
 | 12 mantianyu Mar 25, 2014 这种功能大部分语言都能实现啊 |
 | 14 jyz19880823 Mar 25, 2014 功能不难啊,不过要是数据量大的话,还是用静态语言吧,试试go |
| 15 lch21 Mar 25, 2014 python 的优势在于编程效率高 至于能不能扛得住，就要根据软硬件环境测试了 我个人感觉没什么问题 可以先做个模型测试，实在不行再改静态语言 |
 | 16 NCE Mar 25, 2014 这和python有关系么？用php也可以。 |
| 17 NCE Mar 25, 2014 谈性能之前，先给个范围，N多服务器，请求数量有点大，先量化一下，同时请求数，再说吞吐量。 |
| 18 cevincheung OP  1 @NCE 不需要多高的性能。只要能保证daemon不死就行- -# |
| 19 NCE Mar 25, 2014 没问题的，这才到哪啊 |
 | 20 lookhi Mar 25, 2014 via Android 可以 我们队列就是py做的 里面有大约1000多万的任务在 普通请求也没问题。 |
 | 21 janxin Mar 25, 2014 via iPad celery |
| 22 janxin Mar 25, 2014 via iPad +supervisor |
| 23 cevincheung OP @lookhi 你们怎么做的 |
| 24 lookhi Mar 25, 2014 @cevincheung 基于tornado的 tornado做一个Server很方便的. |
 | 25 guotie Mar 26, 2014 nsq |
Select Language