想要抓取 http://www.chuangtzui.com 网站内容 但是该网站是异步加载内容,用了 phantomjs 爬内容
爬到内容不是真正的 html 内容,求大神指点,谢谢
![]() | 1 Allianzcortex 2016-10-22 21:50:07 +08:00 换个思路,看开发者工具,真正请求的是这个: https://static.wixstatic.com/sites/f805a4_22568e3e95cd9a7c9f694d08ed119154_227.json.z?v=3 ,所以用 requests 去 get 这个 url 去取。如果你是用 selenium + PhantomJs 来做的话设置等待时间再长一点会不会好些? |
2 coreki 2016-10-22 22:05:12 +08:00 via iPhone 先找到 ajax 的请求地震 然后 |
![]() | 3 herozzm 2016-10-22 22:26:26 +08:00 via Android 打开 chrome 的调试器,你可以看到 ajax 请求的真正地址,去抓这个 |
4 douglas1997 2016-10-23 10:43:20 +08:00 这网站的前端怎么实现的? 很漂亮啊。 |
![]() | 5 rabbgit 2016-10-24 18:02:12 +08:00 网站数据没加密,提取源码里面的 JSON,再进一步解析就行. |