1.传统知识库用基于 MARKDOWN 格式的 OUTLINE ，支持团队协作，单点登录，缺点是没有离线功能。
2.RAG 知识库平台和 AGENT 平台选用 FASTGPT ，没有用 DIFY ，感觉 DIFY 要重一点，也没用只聚焦于 RAG 的 MAXKB 。
1 ） LLM 用内网已经有的 QWEN 大模型
2 ） embedding 用本地的 m3e
3 ） rerank 模型也用本地的 bge rerank 模型
3.胶水准备用 N8N ，从 OUTLINE 把知识定期推送到 FASTGPT 。
4.最后是文档的问答模式准备用 NGINX 做拦截嵌入，在 OUTLINE 文档页面做个弹窗把上下文传到后端 FASTPGT 。 ]]>
根据他们官方文档，NPU 支持需要高通骁龙 8 Gen 4 以上。
我这边从 HyperOS 的多任务界面看加载大模型以后内存减少了 5G 左右。
最近看到 AMD AIMAX 395 什么的，我在想是否自己组一个，本地搭建一个蒸馏模型。
但除了隐私数据安全相关问题，像我这样普通人，也想不出本地应用场景的优势。
]]>Need
- 太长了，想看每一章的核心总结，又怕漏掉图啥的不理解
Quesiton
- 丐版 16GB 内存 搭配 AnythingLLM 与 Ollma 能用的模型有哪些？
- 上下文会不会不够，效果怎么样？有没有大佬已经实践过的方案？
- 参数如何调整(AnythingLLM 里可用的参数)？
本地跑文生图听说也有别人二开封装好的，就是不知道目前哪个方案好玩一些。
]]>
我的疑问是，构建上千条甚至上万条这种对话数据，一般使用的工具是什么？传统的数据标注，是用一些数据标注工具为每一条数据添加标记（这里面一般不能修改原始数据），这些对话数据，显然是需要能自己构建和修改的（或者让模型生成回答，人工审核和编辑），直接编辑 json 或 jsonl 文件看起来不太现实，因为它们不会对"\n"这种转义符进行转义，所以如果文本很长，看起来就是一行很长很长的文本，直接在 VSCode 里查看和编辑很吃力也不够直观（你们可以尝试下载一些公开的数据集然后在 VSCode 或其他文本编辑器打开就知道了）
我看到很多说明如何使用这些数据集进行训练的文章或教程，但很少有讨论关于如何从零开始构建这些数据集的方法，甚至似乎没有一个很好的编辑工具可以随时查看和修改对话数据。还可以延伸到多人协作的问题，仅靠一个人完全审核和修改上千至上万条对话数据，这工作量也是很大的，一般需要多人协作，那这个工具还得能支持多人协作才可以。
我之前尝试了 Doccano 和 Label Studio ，不知道是我设置有问题还是操作有问题，我发现这些标注工具都是为 NLP 任务设计的，而不是为 LLM 对话数据设计的，并不能很好满足这种场景。
]]>1. 要达到一般豆包之类的这些功能的 70%，不要太差劲，现在的那些开源模型能做到？一般要多少参数及位数？
2. 要达到 1 的要求买什么主机及显卡，对显存要求如何？ AMD HX395 之类的主机能达到吗？如果不行，买 5090 显卡，还是一些 AI 工作站的 A1000-A4000 之类的显卡？显存多大合适?显存不够的话，以后可以通过多个显卡来扩展吗？
因为是新手，所以问题比较基础，在网上也没有搜索到比较合适的答案，希望能得到一些指导，谢谢各位 AI 大佬！ ]]>
16GB 的 5060Ti 大概 3000 一块，是不是叠加 2 块或者 4 块，只要机箱和 PCIE 通道支持，就算是最性价比的玩法了？
有没有大佬给些建议？ ]]>
然后傻眼了，这玩意不整理，只能一首一首人肉加❤️ 标记喜欢，听一会儿就厌烦了只能不停的 下一首。。
有没有本地化的智能歌曲推荐引擎？
根据曲子风格，语言，流派等区分过滤？
还是去“刮削” 根据歌手、词曲作者，创作背景 年代 等进一步综合推荐？
偶尔听一点古典，对于一些熟悉的 OP 还需要精确到哪个乐团哪个场次才过瘾。
btw 去重也是个麻烦事， .mp3 文件 ID3 参差不齐，不能直接根据 MD5 去重。得看歌曲本身是否重复
这些问题有没有一揽子媒体管理方案？
]]>LLM:qwen3 30B ；
LVM：qwen3-vl-32B-Instruct
不知道大伙们有没有更好的建议
需求：主要还是做知识库，智能客服问答，以及 OCR 的功能 ]]>
