大伙有想过二次训练吗？

理论上是
只是微调的效果不可控，并且算力的需求比 RAG 大太多了。

gpt3.5 刚出来的时候微调还很火热，现在已经没人提了。。

正常模型本就是分初始预训练和继续预训练的，你说的二次训练怕不就是继续预训练。然后后面才是微调和对齐训练。

cursor 的自研模型就是这么干的，底模是 kimi-k2.5 ，注入 cursor 中高质量的对话训练的

你有卡当然可以，普通人压根没有足够的资源来训练大模型

@XenoGear 话说，既然 ai 真这么火热，云服务商，或者其他公司，应该可以提供这种租借服务吧。但要签协议，保证不摄取用户数据，帮用户训练二次模型。
我感觉这个需求还是停常见的。

@archxm 早就有了, vast.ai 很多人在用

是你所的二次, 其有分 CPT 及 SFT 的, 一般用 SFT 已足付任, CPT 效果不佳而且你之後是要回一次 SFT

@kennylam777 好的，又学到新术语

@HHHans #2 说明一直在发展，这种方案不合适，淘汰了呗