qwen3.6 27b 本地编码测试

是有动画效果的，星星会明暗，上下左右还有钻石闪烁效果，不太明显
日期，月相跟着时间会变

上下文设置小一点会快些

@Seanfuck 目前 128 ，256 也试过，llamacpp 的后端，开始都是快的，多轮会话，kv-cache 累计推理感觉就慢了

看着效果还凑合，一般任务应该够用

3.6 进步挺大的

qwen3.6 35B A3B 的跑分还是挺好看的，智力和满血 DeepseekV3.2 不相上下，但 Agent 能力比 DeepseekV3.2 强很多。和我在 hermes agent 上的体感一致。

从这个角度看，最近这一年，localLLM 的进步，比大模型大很多。
我用家里的 8GVRAM ，64GBRAM 的老爷机用 llama.cpp 跑了一下 Q4 量化，驱动 hermes agent 的普通业务没什么问题，就是有点慢。在--on fit 配置下，大概是 20 多 token 每秒。

等 M5 MAX 的 mac studio 上线，我也打算买一台。

主要是 localLLM 强大之后，Agent 玩法才真正的被盘活。
隐私/便利的鱼熊悖论也就被打破了。

@sentinelK 是的，今年是 agent 大规模应用的元年

好厉害，能不能做成 API 卖钱

为啥我用 windows 的 lm studio 跑这个模型，又慢又蠢? 4090D + 32g 内存

@mgsv2047 我这是公司的 a100 ，设备不行吧，还得是专业卡，35b 的那个专家模型，能跑 120t/s

a100……门槛还是太高了。

@evan1 我不知道啊，80g 的，咸鱼问的 5w 不到，2 块 5090 ？算力翻倍至少吧

为啥都在用钟表、天气来测试？

@furlxy 因为那个二叉树，很简单就过了，这个至少有点工作场景，写后端更没问题，比前端还快，毕竟不用调样式

vscode 上有没有好用的连接本地模型的插件？

@zsj1029 #13 又学到了，咸鱼真厉害

@sentinelK mac 速度也慢，只能能加载大模型，显存带宽制约的，a100 。1.8t ，mac 只有 700g 好像

@darrh00 cline 最舒服，其实有很多，都可以下载试试

@mgsv2047 试试用 llama.cpp 来运行试试，上下文开 128K ，带-- fit on 参数

@sentinelK 就是 llamacpp 跑的，fiton ，显存不够，cpu 卸载，a100 可以全部加载到显卡的，不需要，其次开启 q4 kv-cache 量化后，能跑更多并发，更省显存