jinja27 最近的时间轴更新 jinja27 最近的时间轴更新 | jinja27V2EX 第 650734 号会员，加入于 2023-09-25 15:57:06 +08:00 |
| 8 路 L40 部署 R1-671B 上限是多少呢 Local LLM jinja27 236 天前 最后回复来自 jingzf0214 | 10 |
jinja27 最近回复了
238 天前 回复了 jinja27 创建的主题 Local LLM 8 路 L40 部署 R1-671B 上限是多少呢 |
@Attenton 而且我下载的 671B 4bit 量化是 gguf 格式，VLLM 运行不了
238 天前 回复了 jinja27 创建的主题 Local LLM 8 路 L40 部署 R1-671B 上限是多少呢 |
@kk2syc
给过了，模型共 61 层，GPU 上只有 40 层，再大显存就不够了，但是 40 层显卡几乎没工作
给过了，模型共 61 层，GPU 上只有 40 层，再大显存就不够了，但是 40 层显卡几乎没工作
238 天前 回复了 jinja27 创建的主题 Local LLM 8 路 L40 部署 R1-671B 上限是多少呢 |
@Attenton
500G 是内存，显存的话每张显卡实际可用的只有 44 左右，8*44 约 350G
500G 是内存，显存的话每张显卡实际可用的只有 44 左右，8*44 约 350G
238 天前 回复了 jinja27 创建的主题 Local LLM 8 路 L40 部署 R1-671B 上限是多少呢 |
@guoyijun163
但是 KT 不是走纯 CPU 方案吗？这样 8 路显卡的资源浪费不是更严重了？
但是 KT 不是走纯 CPU 方案吗？这样 8 路显卡的资源浪费不是更严重了？
2024-03-08 10:42:47 +08:00 回复了 hepin1989 创建的主题 生活 发现穷人的孩子真的难翻身 |
@ttvv123 比特币除非上杠杆和玩合约，可以说是最近 10 几年最优质的投资资产了，你知道这些只能说明你认识的都是赌狗
Select Language