内网的网站越来越多,查询资料都是各自为战,非常不方便。
想搭建一个内网的 Google: 自动爬网页,建立倒排索引,然后放一个搜索页面给员工使用。
找了一圈,没有找到满足这个需求的开源实现。(也许我用的关键字不对……)
我能想到的会用到的:爬虫+elastisearch.
但是实在没有时间从头开始搭建和实现,不知道有没有开源的方案呢?
1 billlee 2018-03-28 22:12:59 +08:00 开源技术方案就是你说的爬虫 + elasticsearch 啊,我觉得你想要的是整套解决方案,这肯定是收费的,以前 google 有 enterprise search, 但去年关掉了,说要转成云服务。 |
![]() | 2 est 2018-03-28 22:24:55 +08:00 内网还需要爬虫???? 直接去撸对方 db。。。 |
![]() | 3 liudanking OP @billlee Google 居然有过这种服务,可惜啦…… |
![]() | 4 liudanking OP @est 这么说吧,内网的网站花样之多……有些站点是不带 DB 的内容发布站 |
![]() | 5 lululau 2018-03-28 22:38:04 +08:00 Apache Nutch |
![]() | 6 KiseXu 2018-03-28 23:03:43 +08:00 你说的是公安内网吗 |
![]() |
![]() | 8 1yndonn3u 2018-03-28 23:34:35 +08:00 @liudanking #4 这是手写 txt 么。2333 |