V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 547 days ago, the information mentioned may be changed or developed.
基于开源的模型微调，然后用 docker 打包模型和代码，去云服务商买 GPU 去跑吗 这个成本应该很高吧，特别是前期用户少的时候？
举个例子，有一个 PDF 内容大纲提取总结的 AI 服务，希望能给 100 人公司用，这个成本多大
 | 1 Solix Oct 30, 2024 有钱就行，200W 起 |
 | 2 dayeye2006199 Oct 30, 2024 via Android  1 创业企业买什么 GPU ，先 API 用着弄明白怎么赚钱再来研究这事儿 |
 | 3 Hookery Oct 30, 2024 成本需要考虑到并发量，提取总结的智能程度要求，以及是否上云。 |
 | 4 paopjian Oct 30, 2024 初创企业还敢玩自研 AI?你都没证,直接买服务去 |
 | 5 dododada Oct 30, 2024 你 pdf 的模型要多大显存呢？看下需求呗，24 以内就考虑 4090 ，48 以内考虑 3090 ，或者 a6000 ，48 以上考虑 6000a ，3W-20W 不等，平摊到 100 个人，人均 300-2000 ，大概可以干到公司倒闭。 上云的话，算一下每天的成本就行了 |
 | 6 crackidz Oct 30, 2024 买现成 API 都行啊...为啥搞这么重 非得这么重的话，可以考虑 serverless 部署，没人用的时候进行销毁，有人用的时候创建，就完了... |
 | 7 makerbi Oct 30, 2024 1. 微调的目的是什么？是否必须微调？没有经验的情况下微调只会耗费大量资源而且降低模型本身的能力。能用提示词搞定的就优先用提示词。如果要求是能问答企业内部知识的场景，考虑 RAG 是否可以完成？ 2. 考虑并发会到多少？并发数直接影响到你需要的显卡资源数量。按我观察的经验来看，大部分企业员工在应用 AI 这件事情上尝鲜的程度多于真正日常使用的程度，也就是说部署一个并发数在个位数的服务就完全绰绰有余了。 3. 如果不是严格要求私有化部署的情况下，使用公有服务是最优选择。 4. PDF 总结也有很多种做法，显存资源不够的情况下对应的就是上下文长度较小，那就分块总结再合并总结，也能完成任务。 |
 | 8 fffq Oct 30, 2024 GPT Wrapper |
Select Language