每个 html 页面里都有 <meta http-equiv="refresh" cOntent="3; url=http://laoji.org>'; 这样的跳转,如何使用 shell 的 curl 循环抓取这个 url 进行跳转。
已经试 curl -L 的参数,因为这里没有发送 header 文件头,所以这里不会继续抓取。
求大佬指点一下~
已经试 curl -L 的参数,因为这里没有发送 header 文件头,所以这里不会继续抓取。
求大佬指点一下~

1 golmic Sep 10, 2018 via Android curl 拿到 html,正则匹配 url,再 curl 跟进 |
3 lihongjie0209 Sep 10, 2018 用 python 吧 |
4 raysonx Sep 10, 2018 via Android 你确定你需要的不是无头浏览器?还有的页面是用 Javascript 进行跳转的呢,比如 location.href=http://example.com 。 |
5 Lostars Sep 10, 2018 发个网址看看 |
6 golmic Sep 10, 2018 via Android shell 写最简单,我看你标题里写着 shell 就说了 shell 的思路。Python 的话也很方便,requests、re 就搞定了,不到 10 行 |
7 golmic Sep 10, 2018 via Android 发个网址吧,我给你写了 |