这是一个创建于 58 天前的主题，其中的信息可能已经有所发展或是发生改变。
https://huggingface.co/Qwen/Qwen3.5-35B-A3B
vLLM 部署的话，需要用 uv 安装一个 nightly 版本（正常 pip install vllm 的 0.15 版本用不了）：
pip install uv uv pip install -U vllm --torch-backend=auto --extra-index-url https://wheels.vllm.ai/nightly  | 1 tthem 2 月 25 日 m2max 64GB 内存，能跑的起来吗 |
1 | 3 046569 2 月 25 日 |
 | 5 Jackyxiaoc 3 月 2 日 这个模型跑龙虾咋样，够用么 |
 | 6 stefwoo 3 月 19 日 via Android @Jackyxiaoc https://pinchbench.com/ 这个测评网站里面，这个模型跑龙虾还行，不过比 27B 要差五个百分点左右。 我的显卡是 3090 ，我现在就在犹豫是跑 27B 还是 35B ，27B 还是太慢了。 |
Select Language