 | LaurelHarmonV2EX 第 606721 号会员，加入于 2022-12-14 17:19:25 +08:00 |
LaurelHarmon 最近回复了
5 天前 回复了 YanSeven 创建的主题 程序员 关于大模型原理的感叹 |
“原理从 Bert 甚至从 lstm..没变过”这样说不对，bert 是判别模型，gpt 是生成模型，压根不是一个路子。BERT 属于走了岔路，跟当前的生成模型进步没啥关联。
真正一步一个脚印的基石是
AlexNet(2012 ，横空出世，证明了神经网络有用）
word2vec （ 2013 ，文字到向量，文字也能打上神经网络便车）
Attention 机制用于机器翻译（ 2014,发明 Attention 机制，简单有效，天才的创新）
Attention 用于文本蕴含（ 2016 ，加入全盘 Attention ，Transformer 的灵感源泉与雏形）
ResNet （ 2016 ，残差链接，支持深度网络）<---中国人在 LLM 发展浪潮中为数不多的原创性贡献--->
Attention is All you need (2016 ，抛弃 LSTM ，彻底采用纯 Attention(Transformer)，划时代工作）
GPT-1 （ 2018 使用 Transformer 做生成，小有成就）
GPT-2.5, GPT3.5, ChatGPT(接下来这些就是 Scaling law 了，这才是量变引起质变）
所以不仅仅量变引起质变，还是一步一个台阶走上来的
其中走了很多网路（例如 BERT ， 抛弃了很多旧时代的东西例如 LSTM ，CNN ）
真正一步一个脚印的基石是
AlexNet(2012 ，横空出世，证明了神经网络有用）
word2vec （ 2013 ，文字到向量，文字也能打上神经网络便车）
Attention 机制用于机器翻译（ 2014,发明 Attention 机制，简单有效，天才的创新）
Attention 用于文本蕴含（ 2016 ，加入全盘 Attention ，Transformer 的灵感源泉与雏形）
ResNet （ 2016 ，残差链接，支持深度网络）<---中国人在 LLM 发展浪潮中为数不多的原创性贡献--->
Attention is All you need (2016 ，抛弃 LSTM ，彻底采用纯 Attention(Transformer)，划时代工作）
GPT-1 （ 2018 使用 Transformer 做生成，小有成就）
GPT-2.5, GPT3.5, ChatGPT(接下来这些就是 Scaling law 了，这才是量变引起质变）
所以不仅仅量变引起质变，还是一步一个台阶走上来的
其中走了很多网路（例如 BERT ， 抛弃了很多旧时代的东西例如 LSTM ，CNN ）
9 天前 回复了 Taozhu 创建的主题 生活 女友和男同事暧昧的帖子 |
不是，“看见刀”有这么难理解吗，刀只是一个意象，意思是通过告诉机箱型号这一举动来向别人发出警告，又不是真的带刀。写代码写傻了吧
62 天前 回复了 bigrichhai 创建的主题 问与答 不懂就问，清北本科生含金量比清北研究生高吗？ |
含金量有啥用，转换不成金他还是纸；所以，别天天比比比了，专注经营自己的生活。
102 天前 回复了 tanglindan6 创建的主题 推广 [超越 Manus] 超级智能体《imini》聚合 23 款全球 AI 大模型 kimi、GPT、Gemin、Grok、Claude... |
场景太少了，一年能写几次不？而且大家又不是没用过 AI ，这玩意直接写出来又不能用，拉一坨大的
127 天前 回复了 silypie 创建的主题 问与答 为什么以前四十岁之后都能通过科举当官，现在的公务员考试却要限制 35 岁？ |
不一样，科举是招连长排长这种官，公务员考试招的是大头兵，大头兵那么老怎么干活
127 天前 回复了 Int100 创建的主题 程序员 各位觉得 Qwen3 Coder 480B 的实际表现怎么样? 可以替代 Claude-4-Sonnet/Opus 作为 Claude Code 的调用模型吗? |
不然人家的广告费哪来的
246 天前 回复了 yeungtien2021 创建的主题 Apple Mac 上如何禁用腾讯元宝的截图快捷键 |
卸载
363 天前 回复了 x13719996 创建的主题 问与答 求助与讨论：使用 OneDrive 备份微信文件 |
微信自带不就可以，何必折腾
Select Language