
主题总数 193 < href="/feed/localllm.xml" target="_blank">

这个节点讨论在本地电脑或者局域网里运行 LLM(大语言模型)的技术细节
![]() | 目前哪个大模型适合本地部署用来纯翻译? Noby 37 天前 最后回复来自 SSang | 25 |
![]() | Grok 4 发布 alanying 88 天前 最后回复来自 MaybeRichard | 10 |
有人在本地跑模型吗? lihuashan 94 天前 最后回复来自 lihuashan | 6 |
![]() | 个人电脑,适合跑哪个本地大模型? laijh 37 天前 最后回复来自 SSang | 23 |
我做了一个 Olama JSONL 批量推理工具,除了 Ollama 还支持 Deepseek 等 OpenAI Style 兼容 API mili100 110 天前 最后回复来自 mili100 | 2 |
有个大模型相关的副业想法,大家帮忙看看有没有需求 buwenhe 111 天前 最后回复来自 coefuqin | 5 |
![]() | huggingface-cli hf_xet 插件经常报 dns error 是咋回事 guoguobaba 119 天前 最后回复来自 coefuqin | 1 |
![]() | 目前性价比最高的跑本地大模型显卡是? lemonTreeTop 57 天前 最后回复来自 goodboy95 | 18 |
多卡部署 QWQ Q8 是否可行 PalWorld 119 天前 最后回复来自 coefuqin | 3 |
![]() | intel 显卡跑 Qwen3-14B-GGUF:Q8_0 abc0123xyz 124 天前 最后回复来自 coefuqin | 6 |
![]() | 学习大模型的显卡怎么选型 cuteshell | 30 |
![]() | 求本地部署的 AI 推荐~ WessonC 133 天前 最后回复来自 happybabys | 11 |
本地 vllm 部署 Qwen2.5-7B-Instruct 在 stream 模式下 tool_calls 参数 JSON 字符串未正常闭合 BenchWidth 56 天前 最后回复来自 DefoliationM | 3 |
![]() | 本地部署视觉大模型,用于 OCR 中文文献+翻译,最好的模型是什么? villivateur 134 天前 最后回复来自 mili100 | 21 |
![]() | mac studio 跑大模型也就那样啊 guoguobaba 147 天前 最后回复来自 fredweili | 26 |
![]() | 有没有能 mac 上直接跑的多语言翻译 LLM? idblife 134 天前 最后回复来自 mili100 | 4 |
英语文本音频按句自动对齐的有推荐的吗? afkool 157 天前 最后回复来自 barnetime | 8 |
![]() | llama.cpp/ollama 对于类似 vllm tensor parallel 功能的支持。 coefu 175 天前 最后回复来自 coefuqin | 4 |
本地 llm client kid1412621 178 天前 最后回复来自 kid1412621 | 5 |
![]() | 公司要搭建本地大模型,推荐配置。 Woolaman 178 天前 最后回复来自 coefuqin | 10 |