这是一个创建于 2764 天前的主题，其中的信息可能已经有所发展或是发生改变。
最好是用 lucene.net 构建的，如何处理上亿的数据量？
不要推荐 ES,SOLR，因为 ES,SOLR 底层也是基于 Lucene，所以我想自己基于 Lucene 搭建一个支持大数据量的搜索系统。
不要推荐 ES,SOLR，因为 ES,SOLR 底层也是基于 Lucene，所以我想自己基于 Lucene 搭建一个支持大数据量的搜索系统。
第 1 条附言 2018 年 9 月 30 日
现在的问题就是，单个索引库太大，更新索引越慢，而且老出错，用分片方式解决，分片太多搜索慢，于是要合并，优化，而合并和优化又非常耗，耗资源，挺绕的，哪位大侠有好的经验分享一下
 | 1 DCjanus 2018 年 9 月 30 日 via Android 你是准备自己造轮子取代 ES ？ |
 | 3 lideshun123 2018 年 9 月 30 日 分词也自己写？ |
 | 4 kwklover OP @lideshun123 分词也是自己写 |
 | 5 nockyQ 2018 年 9 月 30 日 以前基于 Lucene 开发检索模块的时候也遇到过这个问题，所幸需求相对简单勉强能应付。等一个大牛来分享下经验。 |
 | 6 xuminzhong 2018 年 9 月 30 日 我有做爬虫项目，日处理数据量大概是 1-2 千万，上亿数据量的搜索很早就经历过了，单机做不太难的。 但是 sorry，没有太多时间来做这样的架构分享。 |
| 7 kwklover OP @xuminzhong 分享一下大致思路即可，无需花很多时间做完整的架构分享哦 |
| 8 DCjanus 2018 年 10 月 1 日 via Android 之前做过的一个项目，全文检索需求比较简单，一般用的是 PostgreSQL 自带全文检索，PG 10 支持分区表，但是不知道能不能对倒排索引做分区。 |
 | 9 ddup 2018 年 10 月 2 日 牛逼，是用的 lucene.NET 版本？ |
| 11 ddup 2018 年 10 月 2 日 嘛，有个思路，数据库表水平切分了解吧？ lucene .NET 也给他索引水平切分，1 一条数据，给他分 100 个索引库索引，搜索的时候并发搜索，然后合并结果，根据 score 得分排序一下。 |
 | 12 bigtang 2023 年 6 月 5 日 单台机器亿级数据量，参考一下 tanglib.com, 单机万亿字节数据 |
Select Language