同样的提问,不同结果

一次 Claude 检索对比

同一个 Project,几乎一样的提示词,让 Claude 的 Haiku 和 Sonnet 去搜索Project中同同样所有旧对话——结果差挺远。
Project 里有两样东西:多个上传的文件和多组聊天记录。每组对话有对话名称。Sonnet 分得清,直接去搜;Haiku 却一直翻文件,翻不到,就把文件里的标题当成”对话名称”塞给我——没找对地方,还不肯承认没有。我需要改提示词为“历史聊天记录”,Haiku它才能找到结果。
更麻烦的是,它最后那份”完整”清单也不可靠:思考摘要写”四个”,正文却写”五个”,自己都对不上;还有几条只有说明、没有正文,像硬凑的。Sonnet 则干净地给出两个,都带完整内容。
Haiku智商大概10岁,Sonnet已经成年。

Same question, different models, quite a gap
(a little Claude test)
Same Project, almost the same prompt. I asked two Claudes, Haiku and Sonnet, to dig up all the old conversations on one topic inside that Project. The results came out pretty far apart.
A Project holds two kinds of things: the files you upload, and the chat conversations — and each conversation has its own name. Sonnet could tell them apart, and went straight for the conversations. Haiku could not. It kept flipping through the files, found nothing, and then handed me a title pulled from a file as if it were the “conversation name.” Wrong place to look — and it would not admit it had nothing. Only after I changed my prompt to “chat history” did it finally find the right thing.
The worse part: even its final “complete” list did not hold up. The thinking summary said “four,” the answer said “five” — it could not even agree with itself. A few entries had only a description and no real content, as if they were dropped in just to fill the list. Sonnet, on the other hand, gave a clean two, both with the full text.
Haiku feels about 10 years old. Sonnet has already grown up.

Similar Posts

  • | |

    How to eliminate your old PC? 如何甩掉旧电脑?

    Intel has launched its flagship product Core Duo 2 Processors for almost 2 months. But as Microsoft delayed delivery of the Windows Vista, many people don’t see the necessity to replace their old machine. Therefore those want to try out the Intel’s latest high-flyer have to come up with some creative/extreme ways to destroy their old machine….

  • |

    庞加莱猜想(Poincare conjecture)-关于田刚丘成桐事件

    最近丘成桐先生宣布在美、俄等国科学家的工作基础上,中山大学朱熹平教授和旅美数学家、清华大学兼职教授曹怀东彻底证明了庞加莱猜想。(见Chinese mathematicians put final pieces in global puzzle – Poincare conjecture) 这一消息在很多中文论坛上都引起了的广泛的讨论,而在万维网上的教育与学术论坛上引起激烈的争论。 关于这个证明的正确与否有些人认为丘先生说的不能算。庞加莱猜想是个世界性的数学难题,世界上还有很多的研究小组在做。朱教授与曹教授的这个证明正确、完整与否都会有个定论的,只是时间问题而已。但这个定论绝对不是能在这些网上如此争论可以得出来的。 这些争论的另一焦点是朱教授与曹教授在这个证明上到底有多少贡献。这个问题也许不是时间能解决的。看看微积分这个数学方法,几百年了,还有人在争论到底是牛顿还是莱布尼兹的贡献大。但无论如何只要朱教授与曹教授的这个证明是正确、完整的,那就是对解决庞加莱猜想这个千年难题有贡献。 其实这些争论在很大程度上是田刚丘成桐事件(有人称为丘-田之争)的延续。 田刚丘成桐事件涉及到关于学术风气,选中国院士,长江特聘教授,大学科研经费的申请等等很多热点问题,而且这事件中的学校很多是中国甚至世界顶尖的学府,当中的人物很多都是成名的数学家。 以下关于这个事件的概要是从Wikipedia.org上找到的。我希望能用一、两个星期的时间补充一些细节及资料。

  • |

    漂流的书连接离散的心

    很喜欢图书飘流网。 图书飘流网就是利用互联网实现 …一个(免费)传递图书的活动,如果你有想看这本书的兴趣,而我刚好有这本书。那我就漂流给你,而你必须按照我给的规则将这本书传递出去,或者返还给我。 转自:y0ungs2.0 beta 基本上图书飘流网是中文版的www.bookcrossing.com,只是名字“图书飘流”比“图书交换”(Bookcrossing)来得要更有诗意。 中国人还是有点浪漫和创意的(D版是迫不得已)。 然而我们有一些问题, 但是在全国范围内的book crossing,我谨慎的表示怀疑。首先,就我而言,对于非常好的书籍,都是用来收藏的,而不是看完了就放出去。所以,这个飘流的图书质量很成问题。其次,全国范围内的图书流通如何实现呢?只有通过邮政快递了,邮政快递,它需要金钱成本,还需要时间成本。有时候这个成本会比原书的价格还要大。 Zhang-Zi提出的这些问题确实存在。 我还想补充一点:网络的普及会制约图书飘流网的发展。有点吊诡,但网络的普及的确可能使人更少时间读书了。 我们还要担心很多其它情况,比如说:飘流的图书遇到破烂王怎么办?卫生问题怎么解决?成人书籍流到儿童手上怎么办?… 大概这些是图书飘流网开办至今影响还不大的的原因吧? 但是人类的行为有时候是不能够仅通过物质因素的而计算得到的,或许这一次也是如此。 我们比较一下:中国人口是美国的4倍多;中国人更喜欢群居;中国城市的分布比美国要集中;中国的公共图书馆系统要比美国的差;中国互联网和电子书的应用没有美国普及。 所有的这些都是更有利于图书飘流网在中国流行。 但我们看看在图书飘流网登记书籍的数目: 图书:2751 我们再看看美国Bookcrossing待漂书籍的数目: USA 16,387 图书飘流网建于2004年;Bookcrossing成立于2001年。 简单计算一下,中国登记的书籍是太少了。 这种漂流确实很浪漫,至少在现在的中国是如此。 成功漂流的基础是互信,互助,共享--这些正是当今中国所缺少的。 如果说Web 2.0的核心价值是共建,交流,分享的话,我希望我们未来的中国--中国2.0--是一个充满互信,互助,共享的国家。 图书漂流跟捐助图书不一样。图书漂流不是一种施舍与接受的关系,每个人在这个漂流中都是参与者,贡献者。每一次成功的漂流都可以是一次知识成功的传播,更是一次互信,互助,共享精神成功的传扬,为中国2.0奠下一块坚实的基石。 建一个成功的图书漂流网要比建十座世界高楼有意义多了。 很期待图书飘流网能在中国流行起来。 我真希望康康以后回到的是一个充满互信,互助,共享精神的中国。 另:本来是要介绍一个Web 2.0的网站的,有点离题。 具体对图书漂流网提几点建议: 可以跟网上书店做广告,如Bookcrossing所说的 Many BookCrossers, in fact, buy two copies of every new book that catches their fancy, so they can keep…

  • | |

    【转】25个免费英文书库

    免费的中文网上书库有很多。以前零星上过一些免费的英文书库。现在EduChoices来了个总结,不客气,全文转载。 1. The Online Books Page Free Books on the Online Books Page The University of Pennsylvania’s Online Books Page is one of the best places to read free books online. There are more than 30,000 English works available. All of them are formatted nicely and can be read right on your computer. 2. Project…

Leave a Reply

Your email address will not be published. Required fields are marked *