同样的提问,不同结果

一次 Claude 检索对比

同一个 Project,几乎一样的提示词,让 Claude 的 Haiku 和 Sonnet 去搜索Project中同同样所有旧对话——结果差挺远。
Project 里有两样东西:多个上传的文件和多组聊天记录。每组对话有对话名称。Sonnet 分得清,直接去搜;Haiku 却一直翻文件,翻不到,就把文件里的标题当成”对话名称”塞给我——没找对地方,还不肯承认没有。我需要改提示词为“历史聊天记录”,Haiku它才能找到结果。
更麻烦的是,它最后那份”完整”清单也不可靠:思考摘要写”四个”,正文却写”五个”,自己都对不上;还有几条只有说明、没有正文,像硬凑的。Sonnet 则干净地给出两个,都带完整内容。
Haiku智商大概10岁,Sonnet已经成年。

Same question, different models, quite a gap
(a little Claude test)
Same Project, almost the same prompt. I asked two Claudes, Haiku and Sonnet, to dig up all the old conversations on one topic inside that Project. The results came out pretty far apart.
A Project holds two kinds of things: the files you upload, and the chat conversations — and each conversation has its own name. Sonnet could tell them apart, and went straight for the conversations. Haiku could not. It kept flipping through the files, found nothing, and then handed me a title pulled from a file as if it were the “conversation name.” Wrong place to look — and it would not admit it had nothing. Only after I changed my prompt to “chat history” did it finally find the right thing.
The worse part: even its final “complete” list did not hold up. The thinking summary said “four,” the answer said “five” — it could not even agree with itself. A few entries had only a description and no real content, as if they were dropped in just to fill the list. Sonnet, on the other hand, gave a clean two, both with the full text.
Haiku feels about 10 years old. Sonnet has already grown up.

Similar Posts

  • | |

    木瓜教程之Google Docs使用手册

    Google Docs是一个基于Web的工具,它有跟Word相近的编辑界面,有一套简单易用的文档权限管理,而且它还记录下所有用户对文档所做的修改。 Google Docs的这些功能令它非常适用于网上共享与协作编辑文档。 Google Docs甚至可以用于监控责任清晰,目标明确的项目进度。对于简单的项目,它使用起来直接了当,不像dotProject那般复杂。 从Writely开始,我就一直在使用这个网上文档编辑工具。Writely被Google买去之后,整个工具跟Google的其它系统如Gmail,Google Spreadsheets等结合在一起,并且更名为Google Docs & Spreadsheets。这个木瓜教程讲的只是其中的Docs那部分,因此我这里只叫它Google Docs了。 另外,跟其它很多Google的产品一样,Google Docs在Firefox上有最好的显示效果,因此,这个教程引用的所有例子都是在Firefox上实现的。 登陆Google Docs 我一直很纳闷为什么国内的朋友很少知道Google Docs,因为Google Docs的链接如下图,就在Gmail主页的左上角上,一点就进去了。后来我才知道,如果Gmail的显示语言是设成中文的话,这个链接现在是没有的,相信Google Docs的中文版出来来后应该会加上去吧。 图1:从英文版的Gmail进到Google Docs 不过那也问题不大,可以直接从这个网址进去: docs.google.com 如果有Gmail帐号的话,可以用Gmail帐号登陆。如果你用习惯了原来的电邮地址,还不想体验Gmail的超级功能的话,你也可以点击登陆页面上的“Create a new Google Account”链接,用你的电邮地址来建立一个Google帐号。

  • |

    又谈超链接一代

    不久前跟志强与David讨论读书时,我提起了超链接一代。志强,David跟我应该都是处于超链接一代的边缘,现在找到了一个彻底的超链接一代成员了。 小马在他的博文《行走在网际间》,直接指出, 互联网的本质就是链接,没有了链接就是死水一潭 其实对于这些新新人类来说,这种链接的思维已经扩散到生活的很多层面。 比如说,他们在街上看到一个打扮入时的女孩,这个女孩的样子一下映入脑子里,他们就开始链接了: 飞扬的发型,杂着几撮像塑料般的红发--点一下,找到全岛有69间发型屋有做这种发型,做这种染发的有32间; 很酷的超薄手机--点一下,是Moto的Razr V3i;; 很炫的手饰--点一下,是在Bugis的丫丫饰品店买的,便宜货; 红红的凉鞋--不用点拉,就在楼下的巴刹马兰(夜市)买的; 点一下胸脯--Ooops!链接到整容诊所… …是有点超现实。 在日常生活,他们用SMS,MMS,或其它的通讯工具与不同的人保持着链接。 在互联网上,他们通过Blog,IM,Wiki,MySpace,email 或其它的网上服务保持与其它人的链接。Web 2.0跟他们的思维高度一致。 现实中这些小孩反应奇快但通常没有耐性,一遇到问题就想通过链接找到答案。 Danny在教育中文翻译上翻译的一篇《“E-mail过时了!”-用学生喜欢的方式与他们交流》就真实的反映了超链一代的一些要求。 这种情况在这里遇到太多了。 每当我跟这里的学生介绍自己时,我要是说, “OK, take down my email address…” 他们总是心意懒散。可我要是说, “This is my MSN ID…” 他们就一下子来了精神,噼噼啪啪地在他们电脑上打下一串字符。 对他们来说,email 都是一种僵硬的,太慢的联系方式了。

  • 当 AI 客服解释不了 AI 的账单

    前几天用 Opus 4.8(Max)让 Claude 生成一段描述。这种事做过很多次,一向额度消耗不多。可这一次,一问一答就吃掉了 100% 的 Session 额度。我顺手做了个对照:同样的内容,之前生成成 Word 文档只花了不到 20%额度;换成Markdown + 图片重做一遍,却花了 100% 以上额度。同样的东西,五倍的差距。理论上MD文件应该消耗更少。 于是我去找了 Claude 的 AI 客服(Fin AI Agent)。整段对话二十来个回合,客服很礼貌,但从头到尾都在”绕圈子”。 它先给了一串泛泛的原因:对话长度、工具调用、附件大小、模型选择……我说这些我都懂,我问的是”为什么这一次异常”。 它改口说:这是 Opus 4.8 Max的”正常表现”,新版本重新标定了思考强度,会用更多 token,建议我降一档。我说我这样用已经一个多星期,从没这么烧过。 它又抛出一条新解释:6 月 30 日有一次”错误率升高”的已修复事故,也许有影响。我把那个五倍对照摆出来,它再改口:Markdown 会渲染成带样式的 artifact、图片以 data URI 内嵌,所以更烧额度,可我明明是同样的”文字 + 图片”,docx 和 MD 一样。更巧的是,Claude 以前明确告诉过我 docx 比 MD 更费 token,这正好前后打架。 绕到最后,它终于说了几句实话:它没有权限去查我具体的用量计算,也看不到后台;已经消耗掉的额度一律不退,”无论原因是什么”;它建议我用 Analytics导出用量报表:一本正经的胡说八道。那个 Analytics 页面在个人账号根本打不开。至于去哪里反馈这个异常,AI客服说没有反馈渠道,Claude Team会查我跟它的对话,没有工单号,没有确认邮件,也没有任何办法追踪是否有人在看。 故事的结尾有点意思。第二天,Fable…

  • |

    庞加莱猜想(Poincare conjecture)-关于田刚丘成桐事件

    最近丘成桐先生宣布在美、俄等国科学家的工作基础上,中山大学朱熹平教授和旅美数学家、清华大学兼职教授曹怀东彻底证明了庞加莱猜想。(见Chinese mathematicians put final pieces in global puzzle – Poincare conjecture) 这一消息在很多中文论坛上都引起了的广泛的讨论,而在万维网上的教育与学术论坛上引起激烈的争论。 关于这个证明的正确与否有些人认为丘先生说的不能算。庞加莱猜想是个世界性的数学难题,世界上还有很多的研究小组在做。朱教授与曹教授的这个证明正确、完整与否都会有个定论的,只是时间问题而已。但这个定论绝对不是能在这些网上如此争论可以得出来的。 这些争论的另一焦点是朱教授与曹教授在这个证明上到底有多少贡献。这个问题也许不是时间能解决的。看看微积分这个数学方法,几百年了,还有人在争论到底是牛顿还是莱布尼兹的贡献大。但无论如何只要朱教授与曹教授的这个证明是正确、完整的,那就是对解决庞加莱猜想这个千年难题有贡献。 其实这些争论在很大程度上是田刚丘成桐事件(有人称为丘-田之争)的延续。 田刚丘成桐事件涉及到关于学术风气,选中国院士,长江特聘教授,大学科研经费的申请等等很多热点问题,而且这事件中的学校很多是中国甚至世界顶尖的学府,当中的人物很多都是成名的数学家。 以下关于这个事件的概要是从Wikipedia.org上找到的。我希望能用一、两个星期的时间补充一些细节及资料。

  • | |

    小记一二

    两天前去印尼廖内走了一趟。 前段时间在网上看到不少对近期印尼发展的描述,这次亲身体会,印象深刻。感觉尽管印尼还有很多困难(雅加达正在闹水灾,已经接近瘟疫流行的边缘),它正逐渐从民主乱象中走出来,迎向发展的春天。 民主对经济发展是有利还是有害?真希望印尼可以做出个另一个正面的例子来。记得在上世纪八、九十年代的时候,印尼的人均GDP一直是比中国高的,到现在却是比中国的人均GDP落后了一大截。 昨晚参加了两个有趣的聚会。 一个是Second Life新加坡用户第一次在现实生活的会面。 这次聚会是由IdeaFactory的Eng Kiat和Nicholas组织的。IdeaFactory现在是Second Life在新加坡的临时联络处,他们透露Second Life将在近期正式进军新加坡,而且将以新加坡为中心,发展Second Life在亚洲(除日本与韩国)的业务。新加坡经济发展局(EDB)也将资助一批新加坡人到旧金山Second Life总部去培训,帮助Second Life在新加坡的业务发展。 这对新加坡本地的数字媒体开发是个很好的消息。可以预见Second Life的这个中心将刺激新加坡成立很多以Second Life业务为主的公司。对亚洲其它地区而言,Second Life离他们更靠近了一步,应该会更容易听到亚洲用户的声音。 昨晚参加完Second Life的聚会后,匆忙赶回家,正好赶上Interlocals的网上讨论。 我一直关注着Oiwan创立的这个网站,很早就在上面登记了帐号,有几次都差点想把我的翻译发给他们,只是我的little bridge比较关注文化交流上的小事,而Interlocals专注于人权,民主,社会转变等大事,感觉little bridge有点配不上Interlocals的大框架。 我是以旁观者的身份参加这次网上的讨论。看着与会者积极地讨论Interlocals遇到的问题,很为这些志愿工作者的热情而感动。这世界上真的有不少人不求名利,只为帮助人而付出。 Interlocals主要是由几个香港志愿工作者创立的。 我在新加坡也参加了一些志愿团体,但总感觉新加坡这边的本地志愿工作者缺乏真正的热情--他们的热情大多都很肤浅,暖不到人心里。奇怪的是,我感觉香港是一个比新加坡更商业化,更资本主义,更符合适者生存丛林法则的地方,但我却能经常遇到充满热情的香港志愿工作者。也许一个冷漠的地方更需要热情的人来温暖,要不然每个人都变成巨大商业机器上的一个个冷酷的零件了。 参加Interlocals网上讨论的另一个收获是,在little bridge上加上了Creative Common的声明。我以前对这个一直都不重视,总以为blog通常默认就是Creative Common的了。

Leave a Reply

Your email address will not be published. Required fields are marked *