scrapy 中内存溢出应该怎么调试啊 - V2EX
首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI
- Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX
Python
scrapy 中内存溢出应该怎么调试啊
touch
2014 年 5 月 7 日
6287 次点击
这是一个创建于 4367 天前的主题,其中的信息可能已经有所发展或是发生改变。
跑了一段时间之后发现8G的内存用的只剩下几十MB了,爬虫吃掉的太快。
看了官方的文档里面有个“使用 trackref 调试内存泄露”,没看到怎么调用。
不知道有熟悉scrapy的吗?
在此感谢@
marchtea
及其其他翻译scrapy文档的诸位。
Scrapy
内存
文档
7 条回复
2014-05-08 09:41:35 +08:00
1
codingpp
2014 年 5 月 7 日
是减去buffer以后的内存占用吗
2
touch
OP
2014 年 5 月 7 日
@
codingpp
这个没被告之,估计是加上buffer的。
3
marchtea
2014 年 5 月 7 日
不客气~
文档上说明了,是调用telnet连接,在终端里头使用prefs()来看的。再看看文档试试呢?
4
codingpp
2014 年 5 月 7 日
@
touch
top命令看到的是加上buffer的内存占用
用free -m 看第二行那个是减去buffer的内存占用,这个才是主要看的
我感觉scrapy内存应该不会用的那么多吧
5
reverland
2014 年 5 月 7 日
你是读什么大文件了么……
6
touch
OP
2014 年 5 月 8 日
@
codingpp
主要每一次爬虫调用都会request,不知道scrapyd中能不能再每一次调度之后释放上一次spider的内存占用
7
touch
OP
2014 年 5 月 8 日
@
reverland
在一直深度爬行网站
关于
帮助文档
自助推广系统
博客
API
FAQ
Solana
5682 人在线
最高记录 6679
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 56ms
UTC 06:51
PVG 14:51
LAX 23:51
JFK 02:51
Do have faith in what you're doing.
ubao
msn
snddm
index
pchome
yahoo
rakuten
mypaper
meadowduck
bidyahoo
youbao
zxmzxm
asda
bnvcg
cvbfg
dfscv
mmhjk
xxddc
yybgb
zznbn
ccubao
uaitu
acv
GXCV
ET
GDG
YH
FG
BCVB
FJFH
CBRE
CBC
GDG
ET54
WRWR
RWER
WREW
WRWER
RWER
SDG
EW
SF
DSFSF
fbbs
ubao
fhd
dfg
ewr
dg
df
ewwr
ewwr
et
ruyut
utut
dfg
fgd
gdfgt
etg
dfgt
dfgd
ert4
gd
fgg
wr
235
wer3
we
vsdf
sdf
gdf
ert
xcv
sdf
rwer
hfd
dfg
cvb
rwf
afb
dfh
jgh
bmn
lgh
rty
gfds
cxv
xcv
xcs
vdas
fdf
fgd
cv
sdf
tert
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
sdf
shasha9178
shasha9178
shasha9178
shasha9178
shasha9178
liflif2
liflif2
liflif2
liflif2
liflif2
liblib3
liblib3
liblib3
liblib3
liblib3
zhazha444
zhazha444
zhazha444
zhazha444
zhazha444
dende5
dende
denden
denden2
denden21
fenfen9
fenf619
fen619
fenfe9
fe619
sdf
sdf
sdf
sdf
sdf
zhazh90
zhazh0
zhaa50
zha90
zh590
zho
zhoz
zhozh
zhozho
zhozho2
lislis
lls95
lili95
lils5
liss9
sdf0ty987
sdft876
sdft9876
sdf09876
sd0t9876
sdf0ty98
sdf0976
sdf0ty986
sdf0ty96
sdf0t76
sdf0876
df0ty98
sf0t876
sd0ty76
sdy76
sdf76
sdf0t76
sdf0ty9
sdf0ty98
sdf0ty987
sdf0ty98
sdf6676
sdf876
sd876
sd876
sdf6
sdf6
sdf9876
sdf0t
sdf06
sdf0ty9776
sdf0ty9776
sdf0ty76
sdf8876
sdf0t
sd6
sdf06
s688876
sd688
sdf86