KaiWuBOSS 最近的时间轴更新 KaiWuBOSS 最近的时间轴更新 | KaiWuBOSSV2EX 第 794716 号会员，加入于 2026-03-18 09:14:31 +08:00今日活跃度排名 2129 |
KaiWuBOSS 最近回复了
42 分钟前 回复了 KaiWuBOSS 创建的主题 Local LLM 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
@mingtdlb ollama 用的是 llama 架构 你可以试试 lm 也是这个架构体验更好 但要自己调参
44 分钟前 回复了 KaiWuBOSS 创建的主题 Local LLM 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
@osilinka 还没吧，官方还没编译把 已经出来了吗
1 小时 7 分钟前 回复了 KaiWuBOSS 创建的主题 Local LLM 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
产品最大担忧 我让 tok/s 最优值设定在 20 左右 就是让 kaiwu 在这个速度下 寻找上下文和显存最优解 如果用户显存有效 又期盼高速度 这个就不合适了 。之所以 20 是因为网上说 20 就是甜区了，但我觉得有点慢了。
1 小时 11 分钟前 回复了 KaiWuBOSS 创建的主题 Local LLM 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
@hongdengdao 不好意思 我对双显卡判定之前太简单现在优化了 已经发布 0.1.2 了 你看看还有没有问题 下载后先 kaiwu run xx.gguf --reset 然后再跑 应该没问题了
2 小时 8 分钟前 回复了 KaiWuBOSS 创建的主题 Local LLM 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
@hongdengdao 哥 跑一下 nvidia-smi 看输出是一个显卡还是 2 个 我这个读驱动的有代码支持的
2 小时 15 分钟前 回复了 KaiWuBOSS 创建的主题 Local LLM 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
@hongdengdao 奇怪 我特意在我双 4090 电脑测试能识别的 我去看看代码
3 小时 21 分钟前 回复了 KaiWuBOSS 创建的主题 Local LLM 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
第一次发仓库项目 没经验
3 小时 24 分钟前 回复了 KaiWuBOSS 创建的主题 Local LLM 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
0.1.1 版 ios3 脚本没上传上 正在编译 0.1.2 估计三个小时后发布
3 小时 27 分钟前 回复了 KaiWuBOSS 创建的主题 Local LLM 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
@sentinelK 我也参考了他的 fiton 但他没有涡轮量化 另外我还做了上下文优化 相比而言 我这个不用调参 而且是硬件最大上下文 最优显存
-fit on 是随机削层，Kaiwu 是精准分层。
--fit on：显存不够就把后面几层丢给 CPU ，
不管是什么层，速度损失大。
Kaiwu：专门识别 MoE 的专家层，
只把专家层放 CPU ，注意力层全在 GPU ，
速度损失极小这就是为什么
同样 8GB 显存，Kaiwu 能跑出 21 tok/s ，
LM Studio 只有 3 tok/s 。
-fit on 是随机削层，Kaiwu 是精准分层。
--fit on：显存不够就把后面几层丢给 CPU ，
不管是什么层，速度损失大。
Kaiwu：专门识别 MoE 的专家层，
只把专家层放 CPU ，注意力层全在 GPU ，
速度损失极小这就是为什么
同样 8GB 显存，Kaiwu 能跑出 21 tok/s ，
LM Studio 只有 3 tok/s 。
3 小时 29 分钟前 回复了 KaiWuBOSS 创建的主题 Local LLM 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
Select Language