想问一下大家 python 的 urllib 库怎么爬取跳转的链接, 我大概想了跳转链接分两类,一种是直接跳转:304 另一种是响应 200,然后自动 js 跳转的, 想问一下,是怎么实现的,需要请求 js 的 url 吗 ps:python3 环境下
1 p2pCoder 2018-01-02 13:58:33 +08:00 js 自动跳转的,你请求到包含 js 页面的就可以了 |
![]() | 2 WoodenRobot 2018-01-02 14:56:44 +08:00 为什么不用 Requests? |
![]() | 3 YanSep 2018-01-02 15:24:51 +08:00 胶水语言,不要局限在一个库里面,不行就换,多试试其他的。 |
4 dirls 2018-01-02 15:26:38 +08:00 1# 正解 |
5 wh01096045 2018-01-02 17:24:16 +08:00 你也可以分析 js,得到跳转的 url,然后请求 |
![]() | 6 ray8888 2018-01-02 17:42:37 +08:00 via iPhone 为什么不用 scrapy |
![]() | 7 Ginson 2018-01-02 17:51:21 +08:00 我一般是分析 JS,拿到跳转后的链接;或者直接用能执行 JS 的库去请求,比如 selenium webdriver |
9 linhanqiu OP @WoodenRobot Requests 怎么能够自动跳转,之前看到 urllib 库可以获取跳转后的链接,不知道 requests 可不可以 |
10 linhanqiu OP @wh01096045 好吧,我也打算这么做 |
![]() | 12 WoodenRobot 2018-01-05 10:34:16 +08:00 @linhanqiu 直接重定向的 requests 可以自动实现重定向,在返回数据中获取重定向后的 URL。 |