kennylam777

@squarefong17 , 即使是 DGX Spark 些小器, VRAM 足但跑 20B 以上的 Dense 模型都太慢, 唯一寄望是 Active 位字的 MoE

我本地用片 3090 + NVLink, 用 vllm 跑 Gemma4 31B FP8 打 Tensor Parallel, 吃了 800W 力才好有 60 tps

我也是 context 度的而不是的, 一 chat session 活太降智把之前做好的西都改回, 愈小的模型愈有感, 竟小模型的注意力比有限能像大模型般全都兼

喔我看懂了, 思路是把切小, 小模型能理, 一步一步能自我修

的, 即使是 Cluade Code 的 context management 比 OpenCode 是太多, 以前用 Roo Code 在 4090 上跑 local LLM 基本上 tool calling fail 是基本, 在用 Qwen3.6 + 5090 好一但是有差

我也用看

Roo code 也不做了, 你在才始?
同型的有 OpenCode 在做, 中模型也有首配的, 子不要自己造吧。

不我建你用 claude code 配 local model 看, llama.cpp 支援 Anthropic API
https://huggingface.co/blog/ggml-org/anthropic-messages-api-in-llamacpp

只要定好境就能用 claude code, 不用 login 也不怕被 ban
ANTHROPIC_BASE_URL=http://127.0.0.1:8080 claude
ANTHROPIC_AUTH_TOKEN=local

@archxm 早就有了, vast.ai 很多人在用

是你所的二次, 其有分 CPT 及 SFT 的, 一般用 SFT 已足付任, CPT 效果不佳而且你之後是要回一次 SFT

Antigravity + Codex, 竟 Flash 3 便宜量大
Codex 做 review, 我是喜用 app 版不太想用 CLI

有一次整套 toolchain 的改, 用 Gemini 3.1 Pro, 它自行定花了一大堆 token 去逐 library 的.h/.c 改一, 改到 library 我不, 它什要做, 它那是 MUST do blah blah blah, 最後我叫它去 make script 加一 flag 就好, 然最後改好了, 但也真的要小心

@lessurliu 跟 agent 後面接的 system promopt 有, 以前在 SFT 制模型被到是回答, 在好像因影性能而不了, 都直接在 system prompt 填的, claude code 自家品通常都在 system prompt 先填模型名, 但 Antigravity 的 system prompt 模型介

用 AI 不用看人 schedule 不用排 tasks, 直接手先看看及, 也不用解太多, 直接一段文字就可以始, 奏由你掌控, 不不能足你的控制欲?