等了两周的 Gemini 4 Argon，让我失望的不全在模型。

9 月 30 号，Google 官宣 Gemini 4 Argon。官宣博客里，它最主打的卖点是"真实软件工程"。

我是真期待过的。追了这么多年 AI，这一代 Gemini 我等了挺久，官宣的口气也够大。可官宣那天它只开给一个叫 Fairwind 的网安计划里的防守方，普通人得等。等到 10 月 13 号早上 9 点（PT），全球才放开，到今天算，官宣两周，开放三天。

这三天看下来，我有点失望。我自己没上手测，下面的实测都来自别人公开的测试。不过把这些测试和跑分对着看，我发现让我失望的东西不全在模型。模型自己有毛病，可还有一块出在模型外面那一层。

一. 期待是怎么攒起来的

先说它强在哪，这部分不能省。

截至 10 月 15 号，LMArena 的文本总榜上 Argon 排第一，1524 分，页面标着"初步"，票数还不到五千。Vals Index 也是第一，68.90%，这个榜偏金融、法律、税务这类知识工作。Artificial Analysis 测出来的幻觉率是 15%，在它智能指数 45 分以上的模型里最低。

这三个榜都不归 Google 管，分数是别人跑出来的。

期待还有一半是"等"出来的。从官宣到放开中间隔了两周，这两周里外面几乎没人用得上，消息倒是一条接一条。官宣当天，据 TechTimes 转述，Bloomberg 报道了 Google 内部员工的怀疑，说它跑分好看，真干活"不均衡"，有知情人说它有为跑分优化的倾向。Google 否认了，说它编程表现不佳的说法"不准确"。10 月 8 号，一位 AI 创业公司的创始人在 X 上说，大家对它的兴奋"正在消退"，应该尽快全面开放。

一个大多数人还没摸到的模型，口碑已经在被来回拉扯。

二. 真用起来，一般在哪

Theo（t3.gg 创始人）是拿到 DeepMind 提前测试资格的人之一。放开当天他发帖说了这件事，评价也不差，原话是 "It is a huge jump for Gemini, and pretty good value for the price."，说这对 Gemini 是一次巨大的飞跃，价格也划算。

第二天他改口了，发了一条有四十多万次浏览的帖子，原话是 "Gemini 4 Argon has proven to be outright unusable for real code work in my codebases. It aggressively hallucinates about how systems work."（原帖）意思是，在他自己的代码库里，它完全干不了真实的代码活，对系统怎么运作会很激进地瞎编。

他的测试设计得挺干净。六个模型对同一个代码提交做只读的架构审计，不许改代码，然后让四个模型当裁判，按 8 项标准打分，再把报告里的每条陈述拿去和代码对。四个裁判是 Muse Wonder Full、Opus 5.5、Fable 5.1 和 GPT-6 Astra，都是别家的模型，没有 Google 的。其中 Opus 5.5 既当裁判，也参赛，最后拿了第一。

Argon 的报告里，被核查的陈述有 92 条，47 条是错的，错误率 51%。排第一的 Opus 5.5 是 42 条错 2 条。加权总分 Argon 3.95，六个里垫底。

他贴出来的裁判意见更具体。好几张表、常量和函数，Argon 在报告里标了"已验证"，代码里根本没有。它列的头号问题，是把一处经过授权的读文件操作说成了严重的沙箱绕过。第二号建议是加一个索引，可那个索引代码里已经有了。

这就是这次让人失望的那种感觉。它讲得很笃定，可一半是错的。

有人质疑这测试不公平，说别的模型开的是 xhigh 这类更高的档，Argon 只开了 high。他的回应是 Argon 没有 xhigh，他给每家用的都是最高档。当天深夜他又说，在他的代码库里，GPT-6.1 Sol 和 Opus 轮流拿第一，Gemini 每次都是最后一名。

另一位常年写 AI 评测的研究者拿到了早期访问，评价偏正面，说它在一些领域至少和 OpenAI、Anthropic 打平，文笔好、有创意。可他也提了一句，说它"太确定自己的结论，有点懒"。这句话和上面那份审计是一个方向。

额度和分层，是我看到的吐槽里最多的。卡兹克 10 月 14 号那篇也说过额度烧得快，写得很细，我只补那篇发出来以后的事。全球放开那天，Antigravity（Google 的 AI 编程工具）里的 Argon 只给 Ultra 用户。10 月 15 号，Antigravity 官方宣布开给付费的 Pro 用户，单独给 Argon 一个只按周算的额度。10 月 16 号，Antigravity 那边又给所有人重置了额度。三天里调了两次。

改完骂声也没停。有 Pro 用户说，真干活三四十分钟就碰到了周额度上限。也有 Pro 用户晒过，在 App 里连跑 15 个 high 档的大提示，周额度才用了 15%。两个人用的不是同一个入口，说的也不是同一套额度。光这一点就能看出来，同一个模型，你从 App、Antigravity 还是 API 进去，碰到的是三套不同的规矩。

三. 跑分和体感为什么对不上

我一开始觉得最矛盾的是这一组数。Artificial Analysis 说它幻觉率最低，15%。那份代码审计说它一半陈述是错的，51%。同一个模型，差了三倍多。

后来才弄明白，这两个数量的是两件事。

Artificial Analysis 测幻觉用的是知识问答，答不上来说"不知道"不扣分（测评文章）。Argon 在这儿的表现确实好，它很愿意承认自己不知道。代价是准确率只有 50%，比 GPT-6 Astra 低 13 个点。代码审计测的是另一件事，读完一堆代码之后，对"这个系统怎么运作"下结论，错一条算一条。

打个比方。一个学生考试，不会的题就空着，扣分少，卷面上的"乱答率"很低。可你让他给你讲一段他刚读完的代码，他讲得头头是道，讲错了一半。两种表现可以出现在同一个人身上。Argon 在答题时空着不答这一种上做得好，讲代码时瞎讲这一种还很重。

第二个原因，是评测框架。

模型跑分的时候，题目和模型中间还隔着一层框架，负责怎么喂上下文、怎么调工具、长对话怎么压缩。ARC Prize 官方验证的 ARC-AGI-3 成绩里，Argon 用一个针对它做了适配的框架（Provider Adapter）跑出 97.5%，换成标准框架只有 49.8%，两次用的都是 low 档。标准框架那次，因为 API 出问题，55 道题只跑完 42 道，没跑完的题按已经拿到的部分分计入（ARC Prize 结果页）。所以 49.8% 里掺着一点 API 故障。可同一个标准框架下，medium 档跑完了 46 道，分数是 46.3%，也没高到哪去。

看完成度更高的 medium 档，差距也还在一倍左右。

我更愿意把它理解成发动机和整车。跑分测的是发动机，开发者每天开的是整车，框架、额度、思考档位、用的 IDE 都在车上。ARC 这组数，就是同一台发动机装进两台车，一台跑出 97.5，一台跑出 49.8。

编程榜上也有这个问题。Scale 的 SWE-Bench Pro 榜上，Argon 排第三，用的是一个叫 mini-swe-agent 的通用框架，排在它前面的对手用的是自家的 Claude Code。那份代码审计里，Argon 跑在 Antigravity 里，对手跑在 Claude Code 和 Codex 里。那位研究者也说过 Antigravity 这套框架"不如竞品"。所以那 51% 里，有多少该算模型的，有多少该算 Antigravity 的，现在没人拆得清。Antigravity 也是 Google 自己的产品。

换个环境，名次会变。CursorBench 是 Cursor 拿自家真实会话里的多文件任务做的评测，10 月 16 号我查看时，Argon 的 high 档 52.9%，在榜上 77 个模型档位里排第 6，跟 Opus 5.5 的 medium 档（52.5%）基本持平，离 Opus 5.5 最高档的 57.8% 还差一截。

两份结果的口径差得很远。在 Theo 那份审计里（Argon 跑在 Antigravity 上），是 6 个模型对同一个代码库下结论，Argon 排最后。CursorBench 是 77 个模型档位做同一批任务，里面有不少老模型和低档位，也没有 GPT-6 这一代。所以只拿两边都有的比。Opus 5.5 和 Sonnet 5.5 在两份结果里都在 Argon 前面，变的是它跟 Muse Wonder 的先后（Theo 用的是 Muse Wonder Full，Cursor 榜上是 Muse Wonder Max，两个是不是同一个配置，目前查不到）。在 Theo 那份里，Argon 排在 Muse Wonder 后面，是最后一名；在 Cursor 的榜上，它排在 Opus、Sonnet 之后，按模型家族算是第三家。

第三个原因是默认档位。Argon 的思考档位分 low、medium、high，按 Google 开发者指南的说法，API 默认是 medium。可 Vals 和 Artificial Analysis 测的都是 high 档。你直接调 API 不改参数，拿到的跟榜单上那个档位不一样。也得公平说一句，在 CursorBench 上，它 high 档 52.9%，medium 档 52.8%，差得很小。档位未必是体感差的主因，但它是榜单和日常之间又一处没对齐的地方。

最后一个，是 Google 自己的成绩单。

DeepMind 的模型卡里有一张对比表，分数都是 Google 自称的。表里归在 agentic coding 下的 4 个基准，Argon 赢了 DeepSWE 和 Vibe Code Bench，输了 FrontierSWE v2 和 Terminal-bench 4.0，这两项在表里四家中都排最后。FrontierSWE v2 上它是 55.0%，GPT-6 Astra 是 65.5%。Terminal-bench 4.0 上它 57.4%，Opus 5.5 是 66.4%。

终端里改代码、跨多个文件改，恰好是开发者天天干的活。官宣最主打的卖点是"真实软件工程"，自家表里这块却输了一半。Google 主推的是 DeepSWE 和 Vals Index，这两项正好是它最强的。发布会主推自己最强的两项，这不奇怪，输的那几项也老实写在模型卡里了。只是读表的人得往下翻。

四. 以后再看新模型，我会先看什么

把这些摆在一起，我对 Argon 的看法反而比刚失望那会儿公道一点。

它确实有强的地方。知识工作那几个榜第一。按 AA 的测法，它不会的时候更愿意说不知道，这在今天的大模型里不多见。Perplexity 那边说它在自家的深度研究基准上拿了最好成绩，已经上线。也有一位早期测试者说，用了它 11 个小时，拿它在 Blender 里搭 3D 场景很惊艳。

让人失望的那部分，有一块在模型身上。读代码下结论时太敢说，这个毛病目前看是实打实的，Google 自己表里那两项垫底也算在这块。另一块，在模型外面。榜单上的高分是在合适的框架、合适的档位下跑的，普通人拿到的，可能是默认 medium 档的 API，也可能是三天里调了两次的额度。

所以下次再有新模型发布，我会先翻官方自己的对比表，找它输掉的那几行。厂商挑考场时会把强项摆在前面，输掉的那几项更接近它的短板。

Business Insider 10 月 9 号报道过，Google 内部已经在测下一个版本。Antigravity 那边也说，在想办法让大家在额度内用得更多。模型和外面那层都还在变，现在下定论还早。

五. 写在最后

回到 9 月 30 号那篇博客。

博客里 Argon 最主打的卖点是"真实软件工程"。两周后，Theo 那份公开的代码审计里，Argon 在好几处标着"已验证"的地方，写的是代码里根本不存在的函数。

下次 Google 再发模型，我还是会期待。只是这回，看到那些漂亮分数，我会先去找它是在哪个框架里、开的哪个档跑出来的，再看看我自己能用上的，是不是同一套东西。