听说你们把煎蛋爬趴下了，于是我也爬了一下发现没多大数据量，就很不理解

又不是只有一个人爬，况且首页你还没爬呢

花式自挂

不理解就好好读书，别乱爬，脏！

我就不明白了，我就双十一买一件衣服怎么就把淘宝买崩了。（全国又不是你一个人在爬，好多新手都折腾煎蛋。。。）

能否分享下爬虫代码？

大概是五楼这种比较多

煎蛋技术能力有限吧，2333

你们把人家爬挂了

爬这些老图不如爬汤

有多少人梦想过全国人民给他捐一块钱

热图访问人数多，cdn 有缓存应该会稍微好一点吧，老图的话没有缓存都是要回源的，可能更容易爬跨人家网站。

额，什么时候请求数和网络流量关联在一起了

楼主你要是分享了代码，煎蛋说不定就真的要挂

都不能好好的看图嘛？

ID 贴切

你们天天这么搞，干脆煎蛋做个开放 api 卖钱得了，或者做个延迟同步的共享读库

煎蛋是什么

id 如本人

@cnyang。。。你好混 ID 的同志

@Ryosan 特意看了一眼，确实是

19 楼好评~

@cyn 原以为“煎蛋”是京东，谁知道，煎蛋就是煎蛋网

被随便带带节奏喊技术无罪的是不是也是你们？

求你了,别爬煎蛋了.

“我就是踹了他一脚，他怎么就能死了？”

楼主和其他千千万万踹了煎蛋一脚的垃圾都这么说。

爬虫门槛太低了。
讲真比脚本小子还低，又有妹子图形成正反馈。可怜这些做内容的网站。

我没记错的话，好多新手教程都是爬煎蛋爬糗百的

赞 19L

楼主该看看煎蛋的 PV 什么的
一个 WP 博客站能有这个数据已经很了不起了

楼主这种爬虫算好的了，有些入门的新手连个延迟都不加一顿瞎搞。CDN 请求大量回源，源站也很蛋疼。。。再说一些小破资源站哪里有那么多资源去弄些反爬措施。

把代码分享出来吧。让全国都去爬就体验了威力。233333

煎(jian)蛋(dan)

No individual raindrop ever considers itself responsible for the flood.

设计爬虫尽量温和，杀鸡取卵不是一个文明人正常的做法

@bsidb #33 是 jandan，（手动滑稽）

我想爬汤, 奈何网络太渣渣, 没有威屁恩

@lyhapple 看了你的回复，好像打了新的世界。。

@zlfzy
@lyhapple
爬汤是什么？

@wfd0807 tumblr

@lyhapple 用海外的 vps 爬，快如闪电

能耐这么大去爬淘宝，煎蛋这垃圾网站也不能显示你技术多牛，你说是不？

@wfd0807 汤不热，上面有各种少儿不宜的东西，有的还有联系方式．．．．．

煎蛋的作用就是训练爬虫？

@laqow 真的吗, 我是小学生别骗我

你看看这请求次数，流量大小

心疼煎蛋

心疼

抵制所有爬煎蛋的行为

数据库给你们自己下吧，都别折腾了。

就不能换个网站折腾。。。每次看见爬虫 几乎都是煎蛋 我一次都没上过煎蛋 光看你们写爬虫 都了解了煎蛋

看来煎蛋与爬虫一直就有不解之缘……

var cheerio = require('cheerio');
var request = require('request-promise');
var icOnv= require('iconv-lite');
var EventProxy = require('eventproxy');
var fs = require("fs");
var PATH = '/Users/xie/Documents/images/';
var ep = EventProxy.create();
var total = 160;
var result = {
list: []
}
ep.on('finish', function(page) {
total = total - 1;
if (total > 0) {
matches(total);
} else {
fs.writeFile('images.json', JSON.stringify(result), function(error) {
if (error) {
console.log(error);
} else {
console.log('save');
}
process.exit(1);
});

}
})
matches(total);
function matches(page) {
//var url = `http://jandan.net/pic/page-${page}#comments`;
var url = `http://jandan.net/xxoo/page-${page}#comments`;
request({
method: 'GET',
url: url,
encoding: null
}).then(function(body) {
var cOntent= iconv.decode(body, 'utf-8');
$ = cheerio.load(content);
var matchListRow = $('.view_img_link');
$(matchListRow).each(function(i, element) {
var item = $(element).attr('href');
var res_url = 'http:' + item;
// var name = PATH + item.slice(item.lastIndexOf('/') + 1);
result.list.push(res_url);
// request(res_url).on('response', function(response) {
// console.log(response.statusCode) // 200
// }).pipe(fs.createWriteStream(name));
});
ep.emit('finish');
}).catch(function(err) {
if (err)
return console.error(err);
});
}

反正大家就喜欢挑软柿子捏，

煎蛋这种小站，能存活到现在也算难得了。

说的我也想学学如何造一个爬虫了

煎蛋太惨了 爬汤吧 2333

我开始爬的 h 网和 p 站…

恭喜楼主又吸引了一波仇恨(ω)

我的天 你流量小就代表资源小了？
我建议搜搜什么是 CC 和 DrDOS

爬虫教程尽量就别发出来的。。人一多就相当于 DDoS 了

我能不能把上边的代码删了，感觉不太好

我实在他妈不明白，爬虫这种含量的事儿还有人炫耀？写个爬虫的不行了？听人家说了这样不好还爬？这些年教育都到狗肚子里去了？

上满的去搜 知乎爬虫。。豆瓣电影。。豆瓣读书的爬虫。。一堆一堆的。。。

第一，煎蛋是个小站，真的是个小站，不是百度腾讯阿里巴巴谷歌亚马逊非死不可。
第二，你一个人流量小了，一千个人呢？一万个人呢？十万个人呢？，你知道控制频率，新手们可不知道。
第三，你们就饶了煎蛋吧，已经是少有的摸鱼净土了。。。。。

欢迎来扒 btstar.info 数据

哈哈哈哈 心疼煎蛋 1s

你家里这么多电器，我搬台电视机也没拿多少东西嘛…再说了，皇军吃你几个西瓜怎么了…… 来自 jandan。
自己作恶还觉得理所当然。

求楼主的 jandan.db

练手找招聘,租房的网站练啊,别找煎蛋,一个小站不容易,
还有就是新手写爬虫大多都不知道控制频率,
只知道爬爬爬.不知道手下留情

心疼煎蛋...

爬的人多了如果服务器资源有限就成了 DDOS 攻击了。前几年 12306 抢票插件拖垮 Github 历历在目。

练功房

明明还有很多人去爬豆瓣 哈哈哈 没人说么!