推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3352 天前的主题，其中的信息可能已经有所发展或是发生改变。
打算用 Python 在 Linux 的纯 CLI 下实现微博监控功能。即对某个用户动态不断刷新，一旦有新微博就保存下来。目前只考虑 txt 存储。不考虑数据库。
***
由于刚学写这种程序，照网上有的程序(尽管代码非常漂亮)。可算法没有绕开验证码这个比较坑的问题。
个人编程水平很浅，希望 V2EX 的朋友告知一些比较好的算法， Python 库等。最好是比较成熟的库。
如果有比较好的代码，希望分享一下。
其他的爬虫程序，也可以分享，虽然 github 很多，但是比较好的感觉还是不太多的。
谢谢(**)
………
//写了一个晚上，模拟浏览器还没登进去。人生啊人生。
***
由于刚学写这种程序，照网上有的程序(尽管代码非常漂亮)。可算法没有绕开验证码这个比较坑的问题。
个人编程水平很浅，希望 V2EX 的朋友告知一些比较好的算法， Python 库等。最好是比较成熟的库。
如果有比较好的代码，希望分享一下。
其他的爬虫程序，也可以分享，虽然 github 很多，但是比较好的感觉还是不太多的。
谢谢(**)
………
//写了一个晚上，模拟浏览器还没登进去。人生啊人生。
 | 1 chroming 2016-08-12 00:39:07 +08:00 via iPhone 微博做了很多防爬虫的处理。登录的话用 selenium 模拟比较方便。验证码和 ip 问题就要想办法解决了。 |
 | 2 theodorus OP 代码交流可考虑粘到 http://paste.ubuntu.com 中。然后贴上链接。 |
| 3 theodorus OP @chroming 我使用的是 selenium 。但是始终无法越过验证码。这个没有方法可以解决吗。我想完全在 CLI 下面实现。 cookie 呢。 |
 | 4 Chyroc 2016-08-12 00:49:28 +08:00 使用打码平台或者识别验证码，我自己的项目，简单的我就自己识别了，复杂的就使用打码平台，快捷又经济！ |
 | 5 Chyroc 2016-08-12 00:50:12 +08:00 另外，微博爬虫应该是使用 3g ，手机页面等等比较好吧 |
 | 6 neosfung 2016-08-12 01:02:11 +08:00 via Android 微博不是有 api 么。你先在微博的开放平台注册好你的应用，然后创建一个 dummy 的用户，并且允许它访问你的应用。然后就可以你就可以获得 dummy 的授权并且可以访问它关注微博的更新 |
 | 7 lc4t 2016-08-12 01:24:22 +08:00 via iPhone  1 微博主站密码是 rsa 的，手机版直接的，消息爬虫优先考虑移动版。 |
 | 8 miyuki 2016-08-12 03:03:34 +08:00 via Android GhostPost 和 LZ 的想法差不多 |
 | 9 kslr 2016-08-12 03:26:42 +08:00 via Android 有个微博小挂件 直接解析分析即可 |
 | 10 kindjeff 2016-08-12 06:57:29 +08:00 via iPhone 爬微博档案的 rss ，微博档案是一个第三方的微博备份的网站 |
| 11 theodorus OP |
| 12 theodorus OP @neosfung 想自己实现一遍。毕竟不是做项目，不到没办法的话不太想用现成的 API 。主要就是登录问题。 |
| 13 theodorus OP @lc4t 问下 rsa 是什么意思。这个具体怎么用呢。我一直在考虑用户名密码登录。所以卡在验证码上面。 |
| 14 theodorus OP @kindjeff 它那个太慢了应该？主要还是想自己写个出来。可是微博反爬虫有点厉害。有点想破解掉的意思。 |
| 15 lc4t 2016-08-12 08:35:46 +08:00 via iPhone @theodorus 卡在验证码..验证码识别吧..另外登录成功了记得一直保持 cookies ，不要每次登录去查看更新 |
 | 16 janxin 2016-08-12 09:00:23 +08:00 lz 这个需求 API 就行吧... |
 | 17 em70 2016-08-12 09:04:38 +08:00 用微博官方提供的 API,记得每小时可以刷 5000 次动态次好像 |
 | 19 chaichaichai 2016-08-12 09:39:56 +08:00 爬.cn 域名，我当时似乎没有遇上验证码问题， ip 的话用动态 ip 或者去写一个爬代理的爬虫 |
| 20 chaichaichai 2016-08-12 09:40:39 +08:00 我下班回家找找我当时写的代码，没准改改还能用 |
 | 21 jsonzz 2016-08-12 09:41:33 +08:00 去年写过，当时抓包拿到了 weibo 的 api 。每隔半小时爬取下那个用户的微博数总量，如有变化，再爬，存到 txt 里 |
 | 23 hack 2016-08-12 10:02:22 +08:00 移动端的请求，抓包分析，可能更快 |
 | 24 goodluck 2016-08-12 10:06:46 +08:00 如果只看微博是不需要登陆的，看个人信息才需要登陆！ |
| 25 theodorus OP @chaichaichai 我也是 CN 域名。现在好像要验证码了。不过还是很想看看你的代码。能不能分享一下？我做个参考。 |
 | 28 cenxun 2016-08-12 10:40:12 +08:00 记得手机版可以直接抓的 |
 | 31 pheyer 2016-08-12 14:13:20 +08:00 现在的微博有一个痛点，就是收藏的微博可能会被原作者删除，然后你就看不到了，作者要不考虑改善一下？ |
 | 32 enyblock 2016-08-12 14:55:30 +08:00 via Android 其实可以用 IFTTT 加 evernote 来实现，我会告诉你我用这样的方式来提醒女神的微博的更新么？一旦女神发微博，短信提醒我，微博保存到 evernote. |
| 33 enyblock 2016-08-12 15:00:20 +08:00 via Android 其实并不需要登录吧，我说下我用 IFTTT 的原理，你看能借鉴不？ 条件是某微博博主的 rss,不要用微博名字，用微博给用户分配的那个 id,一直去监听这个应该就可以实现了吧。 |
 | 35 haozibi 2016-08-12 16:46:13 +08:00 via Android 不用模拟登录，用微博 api 。 http://www.github.com/haozibi/BiWeibo 之前练手写的，凑合看吧 |
| 37 theodorus OP @enyblock 如果是应用的话自然现成的设计和软件相当好。实现起来也很漂亮。 rss 的话我没找到地址？或者微博反爬虫是有的，所以抓不到数据。需要先认证。目前在学 API 。 |
 | 40 sparkssssssss 2016-08-13 16:14:12 +08:00 via iPhone 如果只是监控某人动态，没必要登录，用移动版的微博.cn 就可以监控，只是部分内容显示不全 |
Select Language