Topics 284 
这个节点讨论在本地电脑或者局域网里运行 LLM（大语言模型）的技术细节
V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
Parent Node
42
Related Nodes  | 都 2026 年了，为什么还有人觉得 AMD 比 Nvidia 更适合部署本地大模型？ babymonster 8h 27m ago Lastly replied by 94 | 129 |
 | 推荐一个 GPU 推理速度计算器, 可能方便买配件自建本地大模型的人用上 Hermitist 11h 14m ago Lastly replied by diudiuu | 18 |
 | DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品，用起来有差别吗？ SzgSw5zGyN1iy 8h 52m ago Lastly replied by qazwsxkevin | 11 |
 | gemma4:31b-coding-mtp-bf16 Livid PRO |
 | LiteChat 轻量级本地大模型聊天 WebUI，支持 vLLM zsj1029 2 days ago Lastly replied by Orangeee | 7 |
 | 能一起给本地部署的开源模型做个适配的 coding agent 吗？我憋了口气 KaiWuBOSS 8h 11m ago Lastly replied by KaiWuBOSS | 115 |
 | github 看到一个项目， 3090 跑 27B， 129tps，最高 207tps stefwoo 2 days ago Lastly replied by jiaorong | 10 |
 | 请问各位大神，在隔离环境中，有本地 qwen 大模型，有没什么解决方案，做本地的知识库的方案，类似谷歌那个 notebooklm ，也勉强可以？ ken2025 5 days ago Lastly replied by jinsongzhaocn | 5 |
| 我自己的电脑是 5070Ti，总感觉跑一些模型算力不够 babymonster 1 day ago Lastly replied by mscsky | 49 |
| 私有化部署大模型的“终点”是 Mac 还是 Nvidia？ babymonster 6 days ago Lastly replied by bobguo | 29 |
 | 自己做了一款在线 GPU 推理速度计算器 TPS Calculator diudiuu 1 day ago Lastly replied by diudiuu | 12 |
| 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 KaiWuBOSS 2 days ago Lastly replied by kevan | 107 |
 | 有一台 16 寸 m1max 64g+1T 满 GPU 的 MacBook Pro 适合部署哪个本地模型 alangz 6 days ago Lastly replied by davidqw | 11 |
| 用 antirez 的 llama.cpp fork 把 DeepSeek v4 Flash 在本地跑起来了 Livid PRO | 15 |
| 全球本地部署开发者们一起，打造一个真正属于开源社区的 Coding Agent 了 KaiWuBOSS Apr 29 Lastly replied by coefu | 29 |
| 各位推荐一个 32G Macbook air M5 可以跑的 moe 模型 Hermitist Apr 26 Lastly replied by Hermitist | 19 |
 | 请教一个关于模型训练主机配置的问题 jamme Apr 26 Lastly replied by zhoukevin233 | 12 |
Topics 1 to 20 of 284
322 people have favorited this node
Select Language