我想下载尽可能多的新闻文章，现在用的是 Scrapy 来搭建爬虫，然后用 newspaper ，一个抓取新闻 metadata 的包，来抓取文章的标题、正文等。
会遇到一些url ， newspaper 还是能抓取出一些东西，然后保存进来。想问下有没有办法，判断出 url 是否是 news articles page 。
有大神知道，像 google news 他是爬取整个网络，是怎么判断出文章链接的？
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 3891 days ago, the information mentioned may be changed or developed.
 | 1 MasterYoda Sep 18, 2015 新闻和其他信息不同，搜索引擎有专门收录新闻网站。。。 你可以看看百度和 Google 的新闻收录规定，你可以提交你的新闻网站，他们的收录方式不同，估计可以从这里判断出哪些是新闻吧。 |
 | 2 WKPlus Sep 18, 2015 是指 url 去重么？ bloom? |
 | 3 say2old Sep 18, 2015 新闻页面一般都是模板生成，在 URL 上一定符合某种 pattern 。你可以先通过某种方法收集新闻网页的 pattern （比如楼上说的去搜索引擎专门收录新闻网站的地方收集），然后做成 pattern 白名单在 scrapy 里面用，这样抓下来的所有页面都是新闻，再交给 newspaper 处理。如果希望通过文本分析判断一个页面是不是新闻，可以做，但不一定有新闻白名单的方案，简单且质量高 |
 | 4 zog Sep 18, 2015 数据量很大 bloom ，不大，几千几万个用 md5 吧。 |
 | 5 poke707 Sep 20, 2015 via Android 试试能不能把 sitemap 挖出来 |
 | 6 jyb002 OP |
| 7 jyb002 OP Python Code: import newspaper url = '要判断链接‘ a = newspaper.article(url) a.is_valid_url() |
 | 8 pinggaimuir Sep 5, 2018 @jyb002 非常感谢 |
Select Language