V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3987 days ago, the information mentioned may be changed or developed.
最近在做分析一些医学研究论文的abstract的project。
一直在用PubMed这个数据库，因为能把搜索结果下载为包含很多信息的txt文档（其中就包含了abstract），直接处理这个文档就能得出很多有用的信息。
然而，这个数据库毕竟偏向医学研究一些，如果我们想查阅一些关于传感器或者什么运动数据测量的时候，这个数据库能查到的信息偏少。
该数据库地址： http://www.ncbi.nlm.nih.gov/pubmed
我写的一个分析abstract的小工具地址： https://github.com/lushl9301/PubMed-Text-Mining-Tool (写的渣渣，就是拿来用用。。。）
于是我和导师考虑，说不定爬取Google scholar的会不会好一点？
发现Google scholar仅仅提供了一些论文的作者信息，被多少次引用等等，对于文章内容只有一些简单摘要。这些摘要是跟据搜索关键词给出的一些片段，远不如abstract。
其他什么ACM，IEEE都没有提供合适的获取abstract方式。
考虑使用爬虫直接爬取的话，会被ban什么的。Google也会给你robot test。
所以在这里想请教小伙伴，能否提一些建议呢？帮忙支支招 ^_^
 | 1 lushl9301 OP 发完贴后，在“最热”板块，哗哗哗的往下掉= = |
 | 2 ichou May 28, 2015 不会因为访问量太大 导致数据库方暂停账户服务么？ 要是用的学校的公用帐号，哇咔咔~ 写检讨什么的爽歪歪~ |
 | 3 binux May 28, 2015  1 我这有一份 sciencedirect 的 http://demo.pyspider.org/results?project=js_test_sciencedirect |
 | 6 cangbaotu May 24, 2016 推荐你使用神箭手云爬虫，分布式的爬虫框架。官方很给力！ |
Select Language