
1 anbabubabiluya 3 天前 via Android 有大佬能推荐一个部署平台吗?我也觉得 ollama 太慢了,显卡是 5060ti 16g ,最好能直接在 Windows 跑 |
2 tool2dx 3 天前 @anbabubabiluya ollama 不慢的, 我显卡比你还差, 只有 12G 显存, 但是电脑是双显卡, 加起来就有 24G 显存. 运行 ollama 上的 qwen3.6 35b-q4 版本, 如果优化后没爆显存, 速度满速飞起. 默认是爆显存 8%, 速度降为 1/6, 超慢. |
3 catazshadow OP @anbabubabiluya lm studio 似乎可以 |
4 ebushicao 3 天前 我前段时间从 ollama 换到 lm studio 了,真的好很多,相比之下 ollama 真的是个一般的玩具 |
5 r6cb 3 天前 @anbabubabiluya #1 试试看 wsl 安装 vllm |
6 woctordho 3 天前 via Android @anbabubabiluya 用 llama.cpp 就行了 |
7 metalvest 3 天前 via Android 对普通用户来说这些都可以忽略,好用就行,看看豆包为什么用户这么多就知道了 |
8 rammiah 3 天前 lm-studio 支持服务器运行吗? ollama 主要是拉模型方便,modelscope ,hf 都能用 |
9 01802 3 天前 via Android 最近不用 ollama ,为了方便,koboldcpp 都行 |
10 catazshadow OP @rammiah 服务器用 llama-swap 调 llama.cpp 就行了 |
12 my3157 1 天前 ollama ggml models 要切回 llama-server 了 https://github.com/ollama/ollama/pull/15122 |
13 jackqian 1 天前 苹果用 omlx 是不是好点? |