R1
DeepSeek-R1 发布这 7 天
1 月 20 日,信息流几乎全是特朗普的就职典礼。同一天,杭州的 DeepSeek 发布了 R1:6710 亿参数的混合专家模型,MIT 协议,权重、代码、论文全公开,对标 OpenAI 的 o1。我当时扫了一眼标题就划过去了。
7 天后,英伟达单日跌了 17%,蒸发约 5900 亿美元,美股历史上最大的单日市值损失。
这 7 天像剧本。R1 在数学竞赛 AIME 上拿了 79.8%,o1 是 79.2%。更扎眼的是底座 V3 的训练成本,约 560 万美元。DeepSeek 自己在报告里写得很老实,这只算最后一次正式训练,前期研发、失败的实验、人员都不在里面。可市场听的是寓言,不是脚注。周末 DeepSeek 登顶美国 App Store 免费榜,把 ChatGPT 挤了下去。1 月 26 日晚上,Marc Andreessen 在 X 上发了一句:"DeepSeek R1 is AI's Sputnik moment"。
我盯着这条看了很久。斯普特尼克时刻是美国人自己的冷战创伤词,用来形容一个杭州公司的模型。"中国的技术让美国紧张",我以前只在宣传稿里见过,这是第一次在真实世界里看到。
更让我不舒服的是我自己。2023 年 GPT-4 一统天下的时候,我写东西讨论中国 AI,默认语气都是"追赶"。不是恶意,是惯性:最尖端的东西只会从硅谷来,别的地方能跟上就不错了。这 7 天烧掉的就是这个默认设置。
还有一个默认设置也在晃:"算力就是一切"。R1 发布第二天,白宫宣布五千亿美元的"星际之门"。美国刚说完要砸五千亿,市场转头看到有人用几百万美元做出了对标 o1 的东西。周一跌掉的不是某个模型,是"花钱等于领先"这张保险单。
方法上也有新东西。R1-Zero 没用海量人工标注,纯强化学习,让模型自己摸索出长思维链和自我检查,论文里管这个叫 aha moment。H800 是被出口管制砍过的卡,FP8 训练、MLA 这些效率技巧,很大程度是被逼出来的。