这是一个创建于 4056 天前的主题，其中的信息可能已经有所发展或是发生改变。
举个栗子，googleplay在加载时只加载一部分，剩下的要把滚动条脱到低端才会显示出来，现在要写程序来获取全部加载完的字符串，HtmlUnit和phantomjs都用了下，感觉不是很简单，可能对这两者还是研究的不够透彻，请问各位有什么基于这两种或者是其他更好的方法吗？
 | 1 williamwu 2014-11-25 16:15:16 +08:00 如何抓取很多链接的网页全文呢？ 比如汽车之家百科此链接http://car.autohome.com.cn/shuyu/index.html#pvareaid=103435左侧，每个链接对应一篇文章，我如何抓取每一个链接对应文章的正文部分呢？ |
 | 2 crab 2014-11-25 16:23:10 +08:00 googleplay 可以直接post请求（指定开始页，多少页数。） |
 | 3 icedx 2014-11-25 16:23:58 +08:00 你俩是干啥 |
 | 4 assiadamo OP @williamwu 这个很简单，你是如何抓取到这个网页的就去抓取文章的url很容易得到正文啊，文章标题都会有相同的class吧，通过class可以获取url |
 | 6 abelyao 2014-11-25 16:48:26 +08:00 直接用正则表达式匹配 response 中你要的内容。 我的站就是滚动无限加载的图片站，莫非楼主要抓我的… |
 | 7 learnshare 2014-11-25 16:52:40 +08:00 直接抓 API 地址 |
 | 8 halfcrazy 2014-11-25 16:55:27 +08:00 分析js找接口 |
 | 9 cdxem713 2014-11-25 20:55:44 +08:00 via iPhone 直接对api发请求就好了，这类异步网站都可以 |
Select Language