推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
[V 币感谢] headless 浏览器是否有办法抓取网页中的 ajax 请求，并 js 模拟发送么
akmonde 2019-01-15 18:00:35 +08:00 2901 次点击这是一个创建于 2514 天前的主题，其中的信息可能已经有所发展或是发生改变。
RT，最近玩 scrapy 有这方面的需求，不知道有没有办法以 middlewares 的手段去抓取 JS 标签里的 ajax 请求，并模拟发送。 是否只能手动提取，再组合参数发送？
在线等大佬解答，感谢！！
 | 1 epkT6QJ3RSaz6AnJ 2019-01-15 18:21:04 +08:00 |
| 2 epkT6QJ3RSaz6AnJ 2019-01-15 18:21:49 +08:00 目前只想到可以搞个 polyfill，然后拦截 |
 | 3 cy97cool 2019-01-15 22:06:54 +08:00 hookajax 以及 fetch的 polyfill 就能在 js 层面把请求拦下来了 不过浏览器都能控制的话 为啥不直接看浏览器开发人员工具提供的 network 呢 |
 | 4 wangtao7 2019-01-15 22:57:18 +08:00 |
 | 5 akmonde OP @epkT6QJ3RSaz6AnJ 您的意思是拦截器监控再复现？但是我在随机爬行某个网站时不一定能触发该 js 函数，我这算是黑盒，白盒的应该不太适用。 |
| 6 akmonde OP |
Select Language