使用 3090 显卡本地部署 baichuan2-13b-chat 非量化版，有人成功过没？

不想量化可以试试 powerinfer

@ElsaGranger 谢谢~~~

已经试成了。用的 linux mint ，就是不能问太长，长了就直接 cuda 溢出报错。然后换成了 int4 量化版，这样输入就能长的多了。至于"ElsaGranger "说的方法还没空试

显存太小，随便 2k 可能都爆了，都是无效试。

在 windows 平台下可以，前提是内存够大，不怕推理慢。