轻量级的全文检索选哪个？ 50 万内。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1879 天前的主题，其中的信息可能已经有所发展或是发生改变。

目前只有 20 万条商品数据，python 写的后端 api 。

目前用 whoosh，用得不爽。

有什么全文搜索的推荐？
-可以直接用内存最好。
-Golang python 都行

第 1 条附言 2020-08-21 19:08:19 +08:00

如果自己写一个简易版本的，直接初始化后方内存，有什么好的例子可以学习吗、？

我目前想到开单线程 flask，FastAPI，向 api 一样提供服务，但是内存这块如何管理？

Python

全文

Golang

whoosh

12 条回复 2021-11-19 12:26:34 +08:00

wellsc

2020-08-21 18:07:24 +08:00 via iPhone

Os.popen(‘grep -niR 关键字’)

wzw

2020-08-21 18:13:07 +08:00 via iPhone

@wellsc 文本在数据库，用 jieba 分词

jonah

2020-08-21 18:26:28 +08:00 via Android

https://github.com/blevesearch/bleve

iConnect

2020-08-21 19:44:55 +08:00 via Android

es 是重了一点，那也是内存多消耗一些，其他又不会很重。

damngood

2020-08-21 19:58:37 +08:00 via iPhone

golang 有个叫 bleve 的.
我自己没用过，不过在一些开源项目里面看到过.

ddup

2020-08-21 20:09:30 +08:00 via Android

lucene，想降低内存消耗的话，推荐用点 .net 版的 lucene.net ，Java 程序的内存消耗会高一些。
然后包装为 REST API 。

louettagfh

2020-08-22 21:08:29 +08:00

内容需要持久化吗

wzw

2020-08-23 05:00:25 +08:00 via iPhone

@louettagfh 不需要

wzw

2020-08-23 05:00:57 +08:00 via iPhone

@louettagfh 持有化部分放在数据库 ssdb 了

nickchenyx

2020-08-23 15:12:32 +08:00

redis lab 有一个 redis 的实现，可以试试你这个少量的 https://redislabs.com/redis-enterprise/redis-search/

KalaSearch

2020-08-28 00:33:04 +08:00

如果是商用，有预算可支付，面向国外用户考虑 Algolia，接 API 或者直接用 SDK 就行，Python Go etc 都有
如果同样是商用且有预算，面向国内用户，考虑卡拉搜索，接 API 或者直接用 SDK 就行，目前有 Python 和 JS 的 SDK

如果就是学习用，考虑深入研究下 Lucene 和 Elastic Search

你的开线程像 API 一样提供服务，事实上就是个穷人版的 ES :D

另外不推荐 Whoosh，已经不太活跃了

patagonia111010

2021-11-19 12:26:34 +08:00

@wzw 最后怎么解决的?