用 pycharm 爬取网页显示不全,用 fiddler 抓包看来是全的,再用 python 自来的 ide 也是全是这是用问题,都是 requests 抓

1 ranleng Jul 16, 2018 "也是全是这是用问题"... <-- 真的懂不了 pycharm 和 爬出来的全不全应该没有关系... 就一个 IDE... |
2 herozhang Jul 16, 2018 可能网页有一部分是 js 动态加载或者生成的。 你走浏览器抓,自然浏览器就执行了这些 js。 而 requests 抓,这部分就没执行,自然就木有了。 可以了解一下 selenium 这个库 |
3 herozhang Jul 16, 2018 Selenium + PhantomJS |
4 Leigg Jul 16, 2018 via iPhone 怪 ide,过分了兄 dei |
5 pabupa Jul 16, 2018 via Android 厉害了~ |
6 jimmy2010 Jul 16, 2018 via Android 根据你的描述我得出一个结论,既然都是 requests 出问题,那应该怪 requests,而不是 pycharm |
7 PureWhite Jul 16, 2018 可能是 python 出的问题,更可能是写 Python 用的 C 出的问题。 |
8 anyele Jul 16, 2018 via Android 厉害了 |
9 jrtzxh020 Jul 17, 2018 pycharm 躺着也能中枪.. |
10 lieh222 Jul 17, 2018 我猜是宇宙射线干扰了内存,导致丢失了这部分数据 |
11 zhuangzhuang1988 Jul 17, 2018 咋能怪 ide 呢, 怪操作系统。 |