同样的提问,不同结果

一次 Claude 检索对比

同一个 Project,几乎一样的提示词,让 Claude 的 Haiku 和 Sonnet 去搜索Project中同同样所有旧对话——结果差挺远。
Project 里有两样东西:多个上传的文件和多组聊天记录。每组对话有对话名称。Sonnet 分得清,直接去搜;Haiku 却一直翻文件,翻不到,就把文件里的标题当成”对话名称”塞给我——没找对地方,还不肯承认没有。我需要改提示词为“历史聊天记录”,Haiku它才能找到结果。
更麻烦的是,它最后那份”完整”清单也不可靠:思考摘要写”四个”,正文却写”五个”,自己都对不上;还有几条只有说明、没有正文,像硬凑的。Sonnet 则干净地给出两个,都带完整内容。
Haiku智商大概10岁,Sonnet已经成年。

Same question, different models, quite a gap
(a little Claude test)
Same Project, almost the same prompt. I asked two Claudes, Haiku and Sonnet, to dig up all the old conversations on one topic inside that Project. The results came out pretty far apart.
A Project holds two kinds of things: the files you upload, and the chat conversations — and each conversation has its own name. Sonnet could tell them apart, and went straight for the conversations. Haiku could not. It kept flipping through the files, found nothing, and then handed me a title pulled from a file as if it were the “conversation name.” Wrong place to look — and it would not admit it had nothing. Only after I changed my prompt to “chat history” did it finally find the right thing.
The worse part: even its final “complete” list did not hold up. The thinking summary said “four,” the answer said “five” — it could not even agree with itself. A few entries had only a description and no real content, as if they were dropped in just to fill the list. Sonnet, on the other hand, gave a clean two, both with the full text.
Haiku feels about 10 years old. Sonnet has already grown up.

Similar Posts

  • | |

    科技将超越人类

    And, watch out!—Kevin thinks we’ll soon be dwarfed by the collective intelligence of all the technology we’re creating. Kevin认为我们所创造全部科技的集体智能将很快会超越我们。 这是Pop!Tech官方网上对Kevin Kelly这个演讲的简介。 Kevin是Wired杂志的创始人和主编。他的解释是,如果把每个上网的计算机看做一个神经元,地球上的互联网整体可以看作是一个大脑。现在(2006年)这个地球大脑的神经元数大致相等于一个人类大脑神经元数。不过这个地球大脑的神经元数正以每两年翻倍的速度增长。从这个角度来看,这个地脑已经超越了任何一个人脑。 在这个演讲里,Kevin重复了很多他在The Technium这本书里阐述的观点。桑葚翻译了这本书里的一段,很有意思。 Technium是Kevin自创的一个词。我把它译成“科技元”。在Kevin看来科技元是指所有科技及与科技有关的东西包括,硬件,软件,文化,法律等等。 Kevin认为科技元是人类创造出来的,是人类的“孩子”。这孩子没有好坏之分,只是人类没有教好“他”。 如果我们站在科技元这个孩子的立场上看,我们会看到很多有趣的事情。 比如说,高科技元本身是喜欢干净的环境,所以人类要发展高科技就要做好环保。 再比如,科技元本身喜欢被复制,于是就有了开源。为了有利科技元的发展,人类将还要在法律和制度上创造一种“复制超导”的环境,最大程度上让科技元复制,繁衍。 Kevin演讲最后的一段总结应该很重要,但有点微妙,我还不是很理解,没时间反复听了,希望有人能补充一下。 Technorati Tags: PopTech, Kevin Kelly, Technium, Pop!Tech

  • |

    Poincare Conjecture – on contribution

    There are so many calculations/divisions/guesses/conjectures on who has made the biggest contribution to solve the problem or how much value the Chinese mathematicians has contributed to the final solution, after the news Chinese mathematicians put final pieces in global puzzle – Poincare conjecture came out. This is a metaphor. Funny. A Stage Play of the…

  • |

    For your own safety – beware of Chinese net-ware

    Nart Villeneuve has discovered that Skype’s partner in China, Tom Online, has implemented filtering of Skype’s text chat for Chinese users without informing them. Actually, that is not a surprise to me. According the recent Yazhou Zhoukan‘s interview with Mr. Feng GuangChao, a Chinese internet safety expert, the Chinese MSN messenger and QQ have such…

  • |

    液氮制雪糕

    以做草莓雪糕为例: 1. 把草莓,Cream,糖等等所有调料倒入果汁机里打成雪糕汁; 2. 把打好的雪糕汁倒入不锈钢容器; 3. 倒入液氮同时用搅拌机不停搅拌; 大约一分钟,雪糕汁变成雪糕就大功告成了。 听起来有点象天方夜谭,做起来很简单—-当然,前提是要有合适的工具。 除感叹美国人的疯狂创意,还思量着这种极速冻成的雪糕口感,应该和在冰箱里制造的普通雪糕有很大不同吧。其实液氮的价钱并不贵,卖液氮雪糕也许是一门不错的生意。 On Networks 的 Food Science 节目上还有其它的一些很Geek的烹饪点子,比如象下面这个, 吹焰管烤肉 不知道下次会不会来个用电子对撞机煎鱼。 难说。

  • | | |

    剪刀、石头、布!Rock, Paper, Scissors

    想不到这个自从我有记忆以来就会玩的游戏居然还有国际比赛,还有世界冠军。 让我们看看这场在加拿大多伦多举行的决赛,冠军的奖金为7000加元。够刺激。 NPR(National Public Radio,美国的国家公共电台)为此还采访了剪刀石头布的专业选手Jason Simmons。Jason 在这期播客里露了一手,两下子把主持人赢趴下了。Jason简单介绍了一下他的战术。不过Jason说,一般人称呼这个游戏为Rock, Paper, Scissors,或Paper,Rock, Scissors,很少人把Scissors放在前面。这只是美国的情况。中国很多地方是先说剪刀,他那一套心理战术对中国人而言要改变一下。 看看维基百科的介绍,原来这个游戏在每个地方的叫法都不一样。好家伙,这个游戏还具有数学的非迁移性。 跟斯坦福大学的 RoshamBot比了比,13场里面我赢5场,输4场,平4场,这个Robot没有传说中的那么厉害--还是我太厉害了。 这个游戏还是中国人发明的,应该把它列为奥运项目。武术和赛龙舟的希望也许不大,说不定这个游戏能暴个冷门,变成奥运正式项目。这样好歹中国也算对奥运项目有所贡献了。    

Leave a Reply

Your email address will not be published. Required fields are marked *