o3把ARC-AGI刷到87.5%，通往AGI的路上已无阻碍

2024年12月21日，今天凌晨2点，OpenAI的12天直播终于来到了最终章，奥特曼在一片圣诞气息中回归，为这一年压轴：OpenAI o3。又一次超群，又一次把模型的能力推到新的高度，也向全世界证明了OpenAI依然在铁王座上牢不可摧。我也想起了OpenAI研究员在发布o1之前的那句话：“我们通往AGI的路上，已经没有任何阻碍了。”

之所以直接跳过o2发o3，原因也简单：跟英国电信服务提供商O2可能存在版权或商标冲突，所以直接跳过了。直播一完，X上基本就沸腾了，我刷了半宿，到处都是跑分截图和AGI的欢呼。o3的能力对现在所有模型几乎都是降维打击，我简单过一下几个评测集。

左边是软件工程考试SWE-Bench Verified，像一个考写程序的考试——写一个软件要它快速、准确、还不能有bug，考察o3能不能像一流软件工程师一样写出完美的代码。o3成绩71.7%，比o1还强了不少。右边那个基准比较猛，Codeforces，全球著名的编码竞赛平台，o3得分2727，相当于整个榜单的第175名，已经超越了99.99%的人类。o1的代码能力已经强到爆炸了，而o3又向AGI的山顶前进了一大步。

数学竞赛AIME 2024和博士级科学考试GPQA Diamond方面，AIME 2024接近满分——如果我没记错，这应该也是第一次有AI达到接近满分的水平；博士级科学考试有进化，但没数学和编程进化得这么猛。

接下来这个数学基准比较有趣：FrontierMath，Epoch AI开发，由60多位顶尖数学家合作开发，旨在评估AI在高级数学推理上的能力，而且为了避免数据污染，所有题目都是原创的、从未发布过的新题。之前GPT-4和Gemini 1.5 Pro去评估时，成功率不足2%，与其他传统数学基准（GSM-8K、MATH）超过90%的成功率形成鲜明对比。这一次，o3直接达到25.2。当各大模型还在卷传统数学基准时，o3真的已经进入另一个世界了。就像大家还在大斗师阶段互相卷，你是五星大斗师、我是八星大斗师，两人争论不休正要比试，忽然看到一个斗宗强者踏空而行，留下一地的卧槽。这还比个鬼。

然后是整个基准里我觉得最有趣的一个：ARC-AGI。它于2019年首次提出，通过一系列抽象和推理任务来测试AI系统的能力。原因是传统技能测量方法并不能有效代表智能，它们往往依赖先前知识和经验，而真正的智能应体现在广泛的适应能力和通用性上。里面的任务要求AI识别模式并解决新问题，每个任务由输入输出示例组成，以网格形式呈现，每个方块可以是十种颜色之一，网格大小从1x1到30x30不等，参与者需要根据给定输入生成正确输出，测试推理和抽象能力。可以简单理解成找规律，非常难且抽象。

过去几代模型的评分是：GPT-2（2019）0%，GPT-3（2020）0%，GPT-4（2023）2%，GPT-4o（2024）5%，o1-preview 21%，o1 32%，o1 Pro约50%。而今天，o3的分数达到了恐怖的87.5%。从0%到5%整整花了5年时间，而如今从5%到87.5%仅仅只花了半年，对应的，人类阈值分数是85%。我们通往AGI的路上，已经没有任何阻碍了。

不过o3强归强，又是一个期货：OpenAI目前只对红队开放，如果是巨佬的话可以去申请试试，网址是 https://openai.com/index/early-access-for-safety-testing/ 。目前还不知道o3什么时候放出，但OpenAI又基于o3训了3个小尺寸的o3模型，其中o3-mini预估1月底可以对外开放，感觉到时候肯定又是pro会员专属的模型了。

我越来越期待2025年AI行业的进化了：推理模型、Agent、AI硬件、世界模型，每一个都比这个中间态的2024更让人兴奋。2025必是AI行业真正的星辰大海，我甚至有点希望这场12天直播能再长一点。

最后回顾一下这12天的直播：Day 1满血o1上线、ChatGPT Pro会员上线、o1 pro推出；Day 2基于o1的强化微调；Day 3 Sora正式发布；Day 4 ChatGPT Canvas全员开放及小功能更新；Day 5给苹果站台，宣传苹果全系接入GPT；Day 6 4o的实时视频理解上线；Day 7 ChatGPT发布新建文件夹“项目”功能；Day 8 ChatGPT Search全量开放、搜索体验大幅优化；Day 9发布o1的API、更新实时语音API、发布偏好微调能力PFT；Day 10物理意义上可以给ChatGPT打电话了；Day 11炒冷饭，ChatGPT桌面版能读到别的应用；Day 12 OpenAI o3正式发布。

这12天，稍微有点惊喜的日子大概只有2、3天，其他都是垃圾时间。还好，今天的大货补上了之前的阴霾。最后还是忍不住感叹一声：这12天像一场漫长的马拉松，我们经历了深夜里数不胜数的垃圾时间，却也迎来了最后的高光时刻。这感觉，还挺AI的。