这是一个创建于 518 天前的主题，其中的信息可能已经有所发展或是发生改变。
早晨看到 Gemma2 的跑分就觉得不对，里面llama3 那个 666 的 mmlu 太标志性了，抽空把这两个都跑了一遍 GSM-8K
谷歌这宣传资料很明显是用自家微调过的模型打 llama3 的基础模型，脸都不要了
全部 bench 都是原汁原味的 pytorch 运行，
gemma2 发了个 f32 的 base 我还用 f32 跑的，慢的想死
谷歌这宣传资料很明显是用自家微调过的模型打 llama3 的基础模型，脸都不要了
全部 bench 都是原汁原味的 pytorch 运行，
gemma2 发了个 f32 的 base 我还用 f32 跑的，慢的想死
第 1 条附言 2024-06-28 18:00:01 +08:00
https://storage.googleapis.com/deepmind-media/gemma/gemma-2-report.pdf
有人跟我说谷歌在 report 里面有说是不是预训练模型成绩，我有点困了没找到，请诸君看一下吧
有人跟我说谷歌在 report 里面有说是不是预训练模型成绩，我有点困了没找到，请诸君看一下吧
 | 1 luckykong 2024-06-28 17:34:47 +08:00 厉害，这事做的，都不知道该如何评价了 |
 | 2 hantianyang 2024-06-28 17:40:09 +08:00 nb |
 | 3 Donaldo 2024-06-28 17:42:29 +08:00 大厂嘛，不稀奇。。 |
 | 4 kaichen PRO 他这里有 5-shot 的标注耶，应该是没公开 prompt 的情况吧 |
 | 5 boboliu OP @kaichen 没有，5shot maj@1 本来就是 gsm-8k 常规的评估方法，即使受随机 icl 样本的影响，分数影响也不应该这么大 |
 | 6 NoOneNoBody 2024-07-08 16:54:44 +08:00 9 天前没热度的帖子，怎么还置顶起来了？ |
| 7 boboliu OP @NoOneNoBody 因为看到了 /t/1055707 ，突然想起来我也想吐槽谷歌，顺手顶一下 |
 | 8 yinmin 2024-07-28 16:14:55 +08:00 Gemma2 9B 的翻译、文字总结不错。毕竟只有 9B ，STEM 类的肯定不行。Gemma2 9B 对硬件要求也不高，能部署在个人 PC 上。 在不连 Internet 的内网自己架一个私人 AI ，装上 Gemma2 9B 和 Qwen2 7B 处理些文字类、翻译类的工作，还是蛮好的。 |
Select Language