ALIGNWORLD

SONNET

跑分反超大杯不是重点,Claude这个新功能才香

2024年6月21日,今天OpenAI的最大对手Anthropic毫无预兆官宣了新模型Claude 3.5 Sonnet,我一路追它的谜语预告、亲手用新功能Artifacts做了个小游戏,结果解完谜才发现被人提前官宣背刺了。

Claude 3家族原本有三个参数量级的模型:Claude 3 Opus、Claude 3 Sonnet和Claude 3 Haiku,可以理解成Opus大杯、Sonnet中杯、Haiku小杯。这一次放出来的,是中等参数模型Sonnet的3.5升级版。

在跑分上,除了MMLU(本科水平的知识)和MATH(数学能力)之外,基本都达到了最佳。要注意,Claude 3.5 Sonnet只是一个中等参数模型,参数量级上远远够不到Claude 3 Opus的级别,可跑分把它超了,这就很恐怖。

多模态的视觉能力上也基本全面领先。除了视觉问答(MMMU)离GPT-4o还差了小1个点之外,其他四项——视觉数学推理(MathVista)、科学图表理解(AI2D)、图表问答、文档视觉问答(ANLS)——都到了最佳水平。

最搞的是,Anthropic在发布前为了预热,搞了一段小插曲,发了一段谜语视频。我看了半天没看明白,朋友才告诉我,视频里的是摩斯密码,转换过来是"Sonnet",上面的密码还得用维吉尼亚密码去破,那一刻我才恍然大悟。于是我扔给GPT,GPT破译出了一段诗:

No more be grieved at that with which thou hast done——不再因你所做的事情而感到悲伤。

Roses have thorns and silver fountains mud——玫瑰有刺,银色的泉水也有泥。

All models err yet between the third and fourth——所有的模型都会出错,但在第三和第四之间。

Run our new creation blooms a wiser bud——我们的新创造将绽放出一个更智慧的花蕾。

说实话破完又给我干懵了,这个谜语让我感受到了智商的低谷。搜了半天才发现,这段是莎士比亚的第35首十四行诗,而十四行诗对应的单词就是Sonnet。这下答案呼之欲出:Anthropic要发Claude 3.5 Sonnet了。

就在我兴致勃勃准备去炫耀我解出谜题的时候,发现Anthropic已经官宣发布Claude 3.5 Sonnet整整10分钟了。全世界都知道了,而且是在我花好大力气解完之后——瞬间有一种被Anthropic背刺的感觉。

话说回来,除了以中等参数拿下综合跑分第一,Claude 3.5 Sonnet的运行速度是Claude 3 Opus的2倍,定价却更便宜,毕竟是中等参数模型。推理能力确实有提升,但坦率讲,对普通用户来说直观差异不算大。

最让我惊喜的,其实是他们的新功能Artifacts。

当用户要求Claude生成代码片段、文本文件或网站设计等内容时,右边会多出一个实时窗口,这就是Artifacts。这个功能要手动开启:点头像,有个Feature Preview,进去把Artifacts打开就行。

比如我想让Claude帮我做一个横版跳跃的小游戏——坤哥跳过各种障碍物。先让它给我画个主角,我说:给我画一个8-bit的svg小人,灰色身体,白色头发,旁边有一个篮球。它就嘟嘟地写代码,这时右边的Artifacts窗口就被打开。代码全部写完后,会出来一个预览和code的tab,直接在预览tab里就能看到画出来的小人。

接着再让Claude帮忙画一些装饰用的鸡。主角有了,鸡有了,就让它做游戏:现在,请帮我做一个横版的跳跃游戏,可操控的主角是8-bit的小人,需要跳过的障碍物是不断迎面而来的一只一只不同的小鸡,背景是蓝色的天空,我每次按空格键就是跳跃。

很快代码就写好了,在预览窗口里是真的可以直接玩的。虽然它把篮球给我干消失了,但无伤大雅。

所以Artifacts对很多开发者来说,未来有巨大的效率提升,直接以可视化的方式展现在面前,甚至还能交互。可以预期,未来网页设计之类的活会有巨大效率提升,甚至能在Claude里直接做一个PPT,就非常的离谱。

相比模型的更新,这种功能层面的更新可能实打实更让我兴奋,它真的能提升效率,还能整出不一样的花活。ChatGPT虽然也有类似交互,但只局限于一些数据分析场景。Claude这一次,是做了大幅度的进化。

最后,Anthropic说今年晚些时候会放出Claude 3.5 Haiku和Claude 3.5 Opus,也在探索ChatGPT目前特有的记忆功能。反正这些模型厂商卷起来,对我们普通用户肯定是好事。

只是老黄,可能要抱着他的英伟达,在那个铁王座上坐得更久一点了。还有那个奥特曼,你的GPT-5到底啥时候端上来?哦不对,先把你的完全版GPT-4o端上来再说吧,一个多月了,我还没用上新语音和新视觉呢。

呸,渣男。今天先记到这儿。