Gemini 压哨登场：谷歌说它在 MMLU 上赢了人类

12 月 6 日，有人在群里甩了个链接，标题是"谷歌新模型在测试里赢了人类"。我没急着点，先皱了下眉。"赢了人类"这几个字太重了，重到每家发布会都想把它印在海报最显眼的位置。

点进去才知道，赢的是 MMLU。57 个科目的选择题，数学、物理、历史、法律、医学都有。Gemini Ultra 考了 90.0%，人类专家的线是 89.8%，之前最高是 GPT-4 的 86.4%。技术报告的说法是"第一个超过这一阈值的模型"，到了标题里就成了"AI 击败人类"。

那 0.2 个百分点我盯着看了很久。这是一场考试，考的是知识覆盖面和答题技巧，不是我们平时说的聪明。而且报告里写着，这个分数是用思维链采样拿到的：让模型多试几次，按共识交卷，等于考试允许打草稿，人类专家可没这个待遇。

更尴尬的是这两天的演示视频。那段模型实时看画面、跟人对答如流的视频，谷歌自己承认是剪辑过的，实际是用静态图片加文字提示词做的，回答也没那么快。

再往前看，谷歌这一年过得不容易。2 月 Bard 首秀，演示里答错了韦伯望远镜的问题，Alphabet 一天蒸发了大约一千亿美元市值。到年底，ChatGPT 已经占满了所有人的心智。所以 Gemini 1.0 带着 90.0% 压哨登场，我心里想的也是"晚了"。没人关心那 0.2 个点，也没什么人细看它从一开始就是多模态训练的。

我能看懂的是另一件事：基准测试的价值，在于给全行业一套通用的"赢"的语言。谷歌追了一整年，这次声量是靠"赢了人类"几个字抢回来的。可这几个字，会越喊越不值钱。