Claude 3.5升级上线，AI操控电脑真的来了

2024年10月23日，夜里十一点、大洋彼岸早上8点整，Claude带着大货闪亮登场了：升级版Claude 3.5 Sonnet、新模型Claude 3.5 Haiku，还有一个全新的功能computer use——翻译过来我把它称为"计算机操控"。一句话操控电脑的时代，真的要来了。

一个一个来说。先是新模型升级版Claude 3.5 Sonnet。Claude的模型一直分三个尺寸：Opus、Sonnet、Haiku，从大到小。3月的时候Claude正式推出Claude 3代全系模型，从Opus到Haiku都有；6月推出了Claude 3.5 Sonnet，只推了这一个，没有3.5 Opus和Haiku，我之前那篇体验文里写过。那时候Claude 3.5 Sonnet的能力就吊打了旧的最大参数模型。而今天推送的是升级版Claude 3.5 Sonnet，还有新的Claude 3.5 Haiku。

有趣的是，Claude 3.5 Haiku还是后训的，知识截止时间是7月；而升级版Claude 3.5 Sonnet的知识时间并没有变，也就是加了更多的强化学习合成数据，以及"计算机控制"的训练。整体性能上，升级版基本傲视群雄，不管是推理、本科知识还是编程能力都是No.1，而且Claude的跑分不像很多模型那种刷榜，他的跑分是真的可信的。6月Claude 3.5 Sonnet上线后直接一波科技跃迁，带着cursor之类的AI编程工具一波升天，应该没人再怀疑Claude的代码能力了。最特别的评测基准其实是第七行的SWE-bench Verified，大概就是测试写代码解决问题的真实能力，这个基准是8月OpenAI提的，这波Claude 3.5直接把它加进了自己的跑分里，GPT4o在这项是33.2%，o1不知道——按Claude的话说，o1是个什么脏东西，不认识。

新版Claude 3.5 Sonnet已经在Claude官网上线，能看到new的标签。我直接发了最简单的一句话：给我生成一个非常精美的俄罗斯方块游戏。然后升级版就开始嘟嘟嘟生成，一次性出了280行代码，而且这游戏是真的可以直接玩的。也可以直接让它生成一个随时可调可互动的动效模拟器，彻底改变学习方式，就非常的酷。

其次是Claude 3.5 Haiku，这个就没太多可说的了，常规升级，但它是目前最快、性价比最高的模型：在跟Claude 3 Haiku相同的成本和速度下，直接击败了参数量最大的Claude 3 Opus；在编码任务上居然能直接打败没升级前的Claude 3.5 Sonnet，这个最离谱。只能说Anthropic的强化学习范式走得太超前了，合成数据的质量实在太高太高。

最后，也是最重磅的一点：Claude的"computer use"，也就是新功能计算机控制。这个点非常科幻，能够实时分析用户计算机屏幕上的活动，并自主执行在线任务，比如浏览、点击和输入。官方那个演示案例很直观，Anthropic是这么描述的："Claude 3.5 Sonnet可以按照用户的命令在计算机屏幕上移动光标，点击相关位置，并通过虚拟键盘输入信息，模拟人们与自己计算机的互动方式。"这就是一个能理解用户意图、并帮他自主实现的真正的Agent。

以前的Agent说实话更像一个RPA，根据预设好的工作流一步一步执行下去，但真正的Agent应该是什么样？在我看来，他就应该跟人一样，能理解你的复杂语义，把这个语义具象成可执行的步骤。就像我说："现在凌晨3点半了，我太困了，但文章还没写完，你帮我看看附近有没有咖啡买，有的话帮我买一杯，没有的话就算了。"如果是个人，肯定会打开美团外卖或者饿了么，看看附近有没有咖啡店开着，有开着的就看看我最爱的冰美式有没有，没有的话问一句要换什么口味，然后下单等待送达；如果3点半附近都关门了，那也应该告诉我：附近没卖的了，哥们你自己撑一撑吧，一会儿就能睡了。这才是AI，这才是能进入到普通人生活中的、最酷的AI助手。而这种AI助手，势必需要学会操作手机或者电脑。我们不止要让AI学会写文章、学会画图，也要让它学会操作，这样才能有很强的自主探索、解决问题的泛化能力。

而升级版Claude 3.5只是在一些简单软件上进行了训练，就有了操作一些不复杂软件的能力，甚至还会自我纠错、不断重试，这又何尝不是一种强化学习、自我博弈？Anthropic真的把Self-Play玩出花了。目前在测试开发者让模型使用计算机的基准评估（OSWorld）中，Claude得分14.9%，人类水平通常是70-75%，虽然差距很大、还有路要走，但已远高于目前其他最好AI模型的7.7%。不过这个功能普通用户还用不到，只对开发者开放、有API接入，Anthropic的本意是还在前期测试阶段、怕有危险，所以先让开发者帮忙测试。

我自己也花了N久时间把API接进来，做了一些简单的测试。先装了一个类似模拟系统的东西，一切行为都会在这个模拟系统里运行——Anthropic还是怕对你的系统造成不可逆转的损害。我测了很多个case，但说实话，一是速度实在太磨叽，二是成功率确实还有点低下。比如这个案例："打开淘宝网站页面，找到小米手机官方旗舰店，找一个2000左右的手机，加到购物车。"其实不算难，但Claude翻车了，翻车的点也很搞笑：在输入店名上，人家明明叫小米官方旗舰店，它非要写"方店"；后面又试了一次，这次连两个字都不写了，直接写了一个字"舰"，这能搜到才有鬼了。那个演示我特意调成两倍速了，速度之慢可想而知。不过让它玩2048，它玩得倒是非常开心，那一次是三倍速，玩得还挺好，我感觉在这放着，它一个人能玩到天荒地老，这倒也挺有趣。

当然也能做一些很实际的事情，比如给我的浏览器装一个能屏蔽广告的插件，它居然把插件地址背下来了，直接输入，搜索加安装一步到位，起飞。虽然总体任务的成功率还比较一般，但还好，毕竟Claude自己也说了成功率没那么高。而且这只是第一代。他们坚信使模型适应工具是必然，模型也可以融入我们每天使用的环境，成为生活的方方面面，他们的目标是让Claude使用现有的计算机软件，就像人一样。就像人一样，真好。

希望这个愿景能在不远的未来达成，我真的很想拥有一个自己的贾维斯。

先写到这儿。