这是一个创建于 788 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前挺多开源/开放大模型的，7B 这个级别的也不少。现在主流的模型用的是 bf16 的数据类型。
理论上是几乎刚刚放下。但显存里总得放点儿别的东西；权重的各部分之间也不是那么整整齐齐，总要浪费一些空间。
16G 显存的显卡，就愣是放不下 7B 模型了。
4070TiS 、4080 、4080S 都是 16G 。再往上就得 4090D 和 4090 了（算上上代还有 3090 ）。
不是说 int8 量化的不好，就是单纯吐槽 7B bf16 正好卡在这个位置，真是膈应啊。
 | 1 Orenoid 2024 年 2 月 26 日 我的显卡是 4070 ，显存 12 GB ，用 ollama 跑 qwen 7b 和 mistral 7b 感觉都挺流畅的呀，qwen 14b 也勉强能跑，如果 ollama 默认拉取的就是已经量化了的模型，那就不清楚了 |
 | 2 F281M6Dh8DXpD1g2 2024 年 2 月 26 日 你买 A100 老黄就把你当人了 臭打游戏的一边凉快去 |
 | 3 CatCode OP @Orenoid 应该是量化过的。 7000000000 个 bf16 值，紧密排列，就要 13 GiBytes 空间。浮点数数组用通用压缩算法并不好压缩。 |
 | 4 159526aa 2024 年 2 月 27 日 跑个量化 14b 不比你无量化 7b 强多了 |
 | 5 shm7 2024 年 2 月 27 日 1. 是不是不考虑输入输出长度了，现在都是 16K 了。 2. 7B 你也叫大模型了，拿这些老/消费卡不行也是正常的吧。 |
 | 6 basncy 2024 年 3 月 5 日 OutOfMemoryError: CUDA out of memory. Tried to allocate 1.08 GiB. GPU 0 has a total capacty of 14.75 GiB of which 1.06 MiB is free. Process 2290 has 13.72 GiB memory in use. Of the allocated memory 10.38 GiB is allocated by PyTorch, and 3.20 GiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF |
Select Language