这是一个创建于 3310 天前的主题，其中的信息可能已经有所发展或是发生改变。
呃 如题。
有哪些开源方案可以组合起来实现，包含爬虫 存储 检索 排名算法。
只定向收录一些网站即可。
有哪些开源方案可以组合起来实现，包含爬虫 存储 检索 排名算法。
只定向收录一些网站即可。
 | 1 ss098 2017 年 3 月 31 日 爬虫得自己写，搜索可以用 ElasticSearch 。 |
 | 2 dreampuf 2017 年 3 月 31 日 自定义爬虫 + ES 规模几十 T 不是问题 |
 | 3 murmur 2017 年 3 月 31 日 垂直搜索的问题不是你底层抗不扛得住 是你抓别人数据能抓多少 你能想到的可以聚合的内容基本都有反爬虫设计 |
 | 4 gwind 2017 年 3 月 31 日 你需要的是: 1. scrapy 抓 2. elasticsearch 搜 |
 | 5 最简单的， google 自定义搜索，直接限定域名，哈哈 |
Select Language