昨天刚看到一个站内人的项目： https://github.com/TabbyML/tabby 模型下载好后应该可以离线使用

ollama 跑一个？

ollama+continue+openwebui

本机最大也就跑个 32b 的模型，跟在线 api 效果差得多

idea2024 不是自带吗？就是能力一般就是了

@chairuosen 今年不好说 嘿嘿

vscode server
配置 copilot 走本地网络
{
"remote.extensionKind": {
"GitHub.copilot": [
"ui"
],
"GitHub.copilot-chat": ["ui"],

"pub.name": [
"ui"
]
}
}

@yunyuyuan 有模型推荐么，现在用 starcoder2+qwen2.5

lsp 不是离线的吗

离线了还怎么赚你钱

@jaylee4869 话说 671b 模型跑起来需要什么配置的机器啊

@spike0100 6 个 64g mac mini 或 3 个 m1u 128g mac studio 或 2 个 m2u 192 mac studio 或 4*80g a800+显卡 或者 8 * 48g 4090

至少要 7 万+的预算

8 * 48g 4090 何止 7W+ @xing7673

@isSamle 嘛，最低我是按照 6*64g macmini 算的

ollama + codegeex + visual code

本机跑不动的，能跑动的不是智能是智障

如果有实力，可以自建机房

lmstudio

或许你可以研究研究内网穿透

ollama

推荐 tabby ，可以本地代码问答和，如果内存在 16GB 或以下，建议用 1.5b 的模型，再大速度就很慢了。

如果使用 macOS ，直接用 brew instal tabbyml/tabby/tabby ，然后访问后台注册账户，在设置界面拿到 token ，然后在 vscode 中装上 tabby 扩展，填入本地 tabby 服务地址和 token

如果使用 ollama 做后端，可以参考下面配置：

下面是一个使用 qwen2.5-coder:7b 的参考配置，你需要先用 ollama pull qwen2.5-coder:7b-base 和 qwen2.5-coder:7b ，前者适合做补全，后者适合做问答。

~/.tabby/config.toml
```
# Completion model
[model.completion.http]
kind = "ollama/completion"
model_name = "qwen2.5-coder:7b-base"
api_endpoint = "http://localhost:11434"
# prompt_template 不同的模型配置可能不一样，需要自己注意一下
prompt_template = "<|fim_prefix|>{prefix}<|fim_suffix|>{suffix}<|fim_middle|>"

# Embedding model
[model.embedding.http]
kind = "ollama/embedding"
model_name = "bge-m3:latest"
api_endpoint = "http://localhost:11434"

# Chat model
[model.chat.http]
kind = "openai/chat"
model_name = "qwen2.5-coder:7b"
api_endpoint = "http://localhost:11434/v1"
```

同问，为了代码安全公司想要本地部署 ai 模型服务来辅助开发，目前就在找这种类似的解决方案，

Idea 最新版，不是可以补全吗

@HK560 他们不都有私有化部署方案吗？一年几十万。

docker 运行 openWebUI + ollama ，然后 vscode + continue 插件，离线写代码

@PolarisY 内网都是隔离的，没有外网，怎么穿透

@PolarisY #20 给叔叔网 内网穿透 你真想得到啊

https://code.fittentech.com/ 支持私有化部署，收费的，不差钱可以看看