V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
This topic created in 1023 days ago, the information mentioned may be changed or developed.
想到的几种方式
- 本地跑
- 用 replicate 的 api
- 用 aws 或微软的 api
 | 1 jangit Jul 19, 2023 线上部署第一种是不大可能的，还是要等 gptq 支持，不然现在 7b 以上消费级显卡都不够跑的 |
 | 2 captray Jul 20, 2023 a target="_blank" href="https://huggingface.co/blog/llama2#using-text-generation-inference-and-inference-endpoints" rel="nofollow noopener">https://huggingface.co/blog/llama2#using-text-generation-inference-and-inference-endpoints |
 | 4 GL8885 Jul 21, 2023 via Android 本地应该是能跑的，量化过的模型可以用 CPU 加内存跑，一个好点的主板最多可以插 192G 内存，主要是这样推理很慢。 |
 | 5 AIGod Jul 22, 2023 用 GPU 服务器部署呢，如 V100 的服务器 |
Select Language