这是一个创建于 240 天前的主题，其中的信息可能已经有所发展或是发生改变。
deepseek 本地化部署,网上现在资料挺多，想了解一下主流的要做知训库是什么架构呢。
知识库主要是一些规章制度，docx,pdf,常用的这些文档。
另外如果要支持 10-20 人左右，硬件需要什么规格。32b 或者 70b 是否能满足要求？
 | 1 charlestang 240 天前 同问，我也想知道，另外我还想知道，当我们在谈论“知识库” 的时候，我们在说什么？ |
 | 2 tinola OP @charlestang 我们场景主要是有很多的历史资料(也是电子档，word ，pdf,excel ，图片等 常用文档)，那我的理解就是基于这些资料来对提问做精准回答或者推理。 |
 | 3 RRRSSS 240 天前 为什么要本地部署 DeepSeek ，感觉没什么必要，开个云服务就行了，我用的就是火山。 做知识库的话，要么在火山上建立知识库去调试，要么本地弄个 Dify 然后随便用个 LLM 去做就行了。 |
 | 4 MoeDisk 240 天前 ..如果是一些规章制度和文档的话，并且 10 到 20 人，不考虑并发， 感觉一块 RK3588 板子上搭个 DeepSeek 就足够了。 |
| 5 tinola OP |
| 6 MoeDisk 240 天前 @tinola RK3588 芯的开发板，几百块一块，一般跑厂家给的 Ubuntu 就行，都会有 rknn 那套东西，再通过 llm 跑 DeepSeek 本地模型，网上有转换好的直接可以下。用作生产力注意数据容灾备份。 |
 | 8 purr4279 240 天前 我也想知道有哪些合适的方案: 积累与工作相关的期刊、学位论文、专利、国标、行标、企标、报告等电子文档达 2K+，主要格式有 PDF 、CAJ 、doc 、txt 、xls 、ppt 、epub 等，支持聊天和定位文档。 |
| 9 MoeDisk 239 天前 @tinola 看选的开发板配置，但在 3588 上就不建议选择太大版本的模型了，带不动，其实看你需求小模型也够了。实在不行攒一台 x86 ，显卡搞好点，注意做好数据容灾。 |
 | 10 yb8Qes1Qae01H0xy 239 天前 dify 挺好，但是向量化的模型试过几个，效果不好啊。有成功经验可以分享下 |
 | 11 lifechan 239 天前 via Android 有成熟的方案吧，上看 AI 服器 有做个的，找找服商，公司的最好自己弄 |
Select Language