推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 724 天前的主题，其中的信息可能已经有所发展或是发生改变。
我试了 scapy/request/BeautifulSoup 的方案，只能抓一般网站。
用来抓 Twitter, Quora 会显示“Javascript 不支持"等，Reddit 只能抓到楼主的提问，回复全部抓不到。
后来改成用 Selenium 倒是可以全部抓了，但是 Selenium 方案太重了。
请问:
1.有没有优雅方案可以抓上述几个社交平台指定 url 的内容？
2.如果没有，有第三方的 API （可以接受付费)支持吗？
用来抓 Twitter, Quora 会显示“Javascript 不支持"等，Reddit 只能抓到楼主的提问，回复全部抓不到。
后来改成用 Selenium 倒是可以全部抓了，但是 Selenium 方案太重了。
请问:
1.有没有优雅方案可以抓上述几个社交平台指定 url 的内容？
2.如果没有，有第三方的 API （可以接受付费)支持吗？
 | 1 Retool 2023-12-05 18:35:30 +08:00 https://rapidapi.com/hub 里面有很多别人提供的非官方 API ，比如 Twitter API 就有很多，可以对比一下价格选一个划算的（有些免费额度也很高） |
 | 2 lifei6671 2023-12-05 19:17:42 +08:00 我用 https://github.com/go-rod/rod 来抓取抖音和小红书内容。不过这个是基于 Chrome 的，也挺笨重的。 |
Select Language