老板叫我人肉手工爬新浪微博

运的一手好营~

我建议慢慢手工爬，这么爽拿工资的方式，实在难得

请问你的职位称呼？

网页源代码复制 表达式选出来 10 个人。 你把这步骤写成自动化的不就好了....

找个下载器 批量下载页面下来 再分析正则 done

@herozzm 严格来说，这是运营的工作，但是现在运营走了。只能抓我当壮丁。

@icedx 这是什么是啊。点进去什么都没有

@ebony0319 审核一下网页

我用 node 爬过类似的, 你会 node 吗?

http://open.weibo.com/wiki/2/place/pois/users

明明有接口为什么大家都想着去抓呢....这是为什么呢....

不能直接爬，要先拿到 cookie ，请求时要带上 cookie 。因为他的 html 都是用 js 来生成的，所以要用 phantomjs 来解析。

@Tuccuay 已经提交，再等待审核，现在有更快的方法么？

@ebony0319 你自己用不需要审核的....直接创建出来就能用....

用 Python 爬一下网页不可以么，就是把手工的过程改成自动了。

@ebony0319
看不见咩? 那就是你没有灵根咯

正则没写好

@icedx 我看到你的东西了，主要是有这么多，就是几千页都信息怎么自动保持下来。

愿意付费的话，私信我。

叫老板开双份薪水：运营 + 爬手

python 写

愿意付费的话，私信我。 C++写~ so easy

LZ 不是码农？
python 写个脚本简直分分钟啊

@vidli2ex
@FUCKEX2
@lazarus 可以哟，报价吧。

@Tuccuay 大概看了下，这个广州好像是类似一个分类的大目录，没有具体的 poiid 的，这个 API 只能通过具体的 poiid 获取签到的列表，而且有频率限制。
虽然 api 方便简单，但是这里直接爬页面其实也不错的

既然老板让你手动抓的，他还付你工资。。。
那你就一天写个自动的，然后说我一个月都在手动抓

@lazarus 在去年出车祸之前我还会 c ， c++， lua ， JAVA ……然后什么都很模糊了，记忆一些东西很困难。但是现在还是能够看得懂一些你们写的东西，谈论的一些话题。

@ebony0319 神转进(Д`)

python 应该分分钟解决

啊如果付费明天我看下好了，正好这几天放假学生党赚点零花钱也不错 w

@ebony0319 哈哈哈，今日最佳

@ebony0319 粗略写了下，需要把里面的 YOUR_COOKIE 替换成你的 cookie ：
##################################
import requests, re, time

headers={
'Cookie': YOUR_COOKIE
}
base_url = 'http://weibo.com/p/1001018008644010000000000/checkin?page=%s'


def append_to_file(text, filename):
with open(filename, 'a') as f:
f.write(text)


def get_page(page):
r = requests.get(base_url % page, headers=headers)
print r.text.encode('utf-8')
return '\n'.join([x.encode('utf-8') for x in re.findall('<strong usercard=\\\\"[^"]+" >([^<]+)<\\\\/strong>', r.text)])


sleep_interval = 5
for p in xrange(1, 35612):
nicks = get_page(p)
retry_count = 0
while len(nicks) == 0:
retry_count += 1
time.sleep(retry_count * sleep_interval)
nicks = get_page(p)
append_to_file(nicks, 'data/nicks.txt')

##################################

weibo 有限流措施，懒得去研究怎么突破了，就用了最简单的 sleep + retry ，就放着慢慢跑就是了
如果需要我来帮你跑，回复我吧

呃，代码缩进乱掉了

@lazarus 厉害哇。

@4679kun
@horizon 那时候晚上十点样子，一个女司机跟他老公在沿江大道试新车，结果把自己给撞死了，老公为了防止后面的车来就去拦车，大货车拦不住直接就撞死了。不知道哪个智商低的把那种木粱横在路上拦车，我发现的时候已经只有三米了。煞不住了，直接飞出去了。后面接连发生了几十起车祸，第四位后脑勺直接消去四分之一。
重点来了，深夜不要点图，不要点图，不要点图。当时的车祸拍照。 https://ssl.moefq.com/image/LqgCh

@lazarus 我可不可以厚颜无耻的请求你直接把一万个 id 发给我哇。

@ebony0319 不好意思，这个只是示意行的代码，还是很简陋，我刚刚跑了下发现 111 页往后的内容获取不到了，暂时没时间去深究了

火车头，妥妥的

@ebony0319
卧槽，真事儿啊。