同样的提问,不同结果

一次 Claude 检索对比

同一个 Project,几乎一样的提示词,让 Claude 的 Haiku 和 Sonnet 去搜索Project中同同样所有旧对话——结果差挺远。
Project 里有两样东西:多个上传的文件和多组聊天记录。每组对话有对话名称。Sonnet 分得清,直接去搜;Haiku 却一直翻文件,翻不到,就把文件里的标题当成”对话名称”塞给我——没找对地方,还不肯承认没有。我需要改提示词为“历史聊天记录”,Haiku它才能找到结果。
更麻烦的是,它最后那份”完整”清单也不可靠:思考摘要写”四个”,正文却写”五个”,自己都对不上;还有几条只有说明、没有正文,像硬凑的。Sonnet 则干净地给出两个,都带完整内容。
Haiku智商大概10岁,Sonnet已经成年。

Same question, different models, quite a gap
(a little Claude test)
Same Project, almost the same prompt. I asked two Claudes, Haiku and Sonnet, to dig up all the old conversations on one topic inside that Project. The results came out pretty far apart.
A Project holds two kinds of things: the files you upload, and the chat conversations — and each conversation has its own name. Sonnet could tell them apart, and went straight for the conversations. Haiku could not. It kept flipping through the files, found nothing, and then handed me a title pulled from a file as if it were the “conversation name.” Wrong place to look — and it would not admit it had nothing. Only after I changed my prompt to “chat history” did it finally find the right thing.
The worse part: even its final “complete” list did not hold up. The thinking summary said “four,” the answer said “five” — it could not even agree with itself. A few entries had only a description and no real content, as if they were dropped in just to fill the list. Sonnet, on the other hand, gave a clean two, both with the full text.
Haiku feels about 10 years old. Sonnet has already grown up.

Similar Posts

  • |

    漂流的书连接离散的心

    很喜欢图书飘流网。 图书飘流网就是利用互联网实现 …一个(免费)传递图书的活动,如果你有想看这本书的兴趣,而我刚好有这本书。那我就漂流给你,而你必须按照我给的规则将这本书传递出去,或者返还给我。 转自:y0ungs2.0 beta 基本上图书飘流网是中文版的www.bookcrossing.com,只是名字“图书飘流”比“图书交换”(Bookcrossing)来得要更有诗意。 中国人还是有点浪漫和创意的(D版是迫不得已)。 然而我们有一些问题, 但是在全国范围内的book crossing,我谨慎的表示怀疑。首先,就我而言,对于非常好的书籍,都是用来收藏的,而不是看完了就放出去。所以,这个飘流的图书质量很成问题。其次,全国范围内的图书流通如何实现呢?只有通过邮政快递了,邮政快递,它需要金钱成本,还需要时间成本。有时候这个成本会比原书的价格还要大。 Zhang-Zi提出的这些问题确实存在。 我还想补充一点:网络的普及会制约图书飘流网的发展。有点吊诡,但网络的普及的确可能使人更少时间读书了。 我们还要担心很多其它情况,比如说:飘流的图书遇到破烂王怎么办?卫生问题怎么解决?成人书籍流到儿童手上怎么办?… 大概这些是图书飘流网开办至今影响还不大的的原因吧? 但是人类的行为有时候是不能够仅通过物质因素的而计算得到的,或许这一次也是如此。 我们比较一下:中国人口是美国的4倍多;中国人更喜欢群居;中国城市的分布比美国要集中;中国的公共图书馆系统要比美国的差;中国互联网和电子书的应用没有美国普及。 所有的这些都是更有利于图书飘流网在中国流行。 但我们看看在图书飘流网登记书籍的数目: 图书:2751 我们再看看美国Bookcrossing待漂书籍的数目: USA 16,387 图书飘流网建于2004年;Bookcrossing成立于2001年。 简单计算一下,中国登记的书籍是太少了。 这种漂流确实很浪漫,至少在现在的中国是如此。 成功漂流的基础是互信,互助,共享--这些正是当今中国所缺少的。 如果说Web 2.0的核心价值是共建,交流,分享的话,我希望我们未来的中国--中国2.0--是一个充满互信,互助,共享的国家。 图书漂流跟捐助图书不一样。图书漂流不是一种施舍与接受的关系,每个人在这个漂流中都是参与者,贡献者。每一次成功的漂流都可以是一次知识成功的传播,更是一次互信,互助,共享精神成功的传扬,为中国2.0奠下一块坚实的基石。 建一个成功的图书漂流网要比建十座世界高楼有意义多了。 很期待图书飘流网能在中国流行起来。 我真希望康康以后回到的是一个充满互信,互助,共享精神的中国。 另:本来是要介绍一个Web 2.0的网站的,有点离题。 具体对图书漂流网提几点建议: 可以跟网上书店做广告,如Bookcrossing所说的 Many BookCrossers, in fact, buy two copies of every new book that catches their fancy, so they can keep…

  • | |

    小记一二

    两天前去印尼廖内走了一趟。 前段时间在网上看到不少对近期印尼发展的描述,这次亲身体会,印象深刻。感觉尽管印尼还有很多困难(雅加达正在闹水灾,已经接近瘟疫流行的边缘),它正逐渐从民主乱象中走出来,迎向发展的春天。 民主对经济发展是有利还是有害?真希望印尼可以做出个另一个正面的例子来。记得在上世纪八、九十年代的时候,印尼的人均GDP一直是比中国高的,到现在却是比中国的人均GDP落后了一大截。 昨晚参加了两个有趣的聚会。 一个是Second Life新加坡用户第一次在现实生活的会面。 这次聚会是由IdeaFactory的Eng Kiat和Nicholas组织的。IdeaFactory现在是Second Life在新加坡的临时联络处,他们透露Second Life将在近期正式进军新加坡,而且将以新加坡为中心,发展Second Life在亚洲(除日本与韩国)的业务。新加坡经济发展局(EDB)也将资助一批新加坡人到旧金山Second Life总部去培训,帮助Second Life在新加坡的业务发展。 这对新加坡本地的数字媒体开发是个很好的消息。可以预见Second Life的这个中心将刺激新加坡成立很多以Second Life业务为主的公司。对亚洲其它地区而言,Second Life离他们更靠近了一步,应该会更容易听到亚洲用户的声音。 昨晚参加完Second Life的聚会后,匆忙赶回家,正好赶上Interlocals的网上讨论。 我一直关注着Oiwan创立的这个网站,很早就在上面登记了帐号,有几次都差点想把我的翻译发给他们,只是我的little bridge比较关注文化交流上的小事,而Interlocals专注于人权,民主,社会转变等大事,感觉little bridge有点配不上Interlocals的大框架。 我是以旁观者的身份参加这次网上的讨论。看着与会者积极地讨论Interlocals遇到的问题,很为这些志愿工作者的热情而感动。这世界上真的有不少人不求名利,只为帮助人而付出。 Interlocals主要是由几个香港志愿工作者创立的。 我在新加坡也参加了一些志愿团体,但总感觉新加坡这边的本地志愿工作者缺乏真正的热情--他们的热情大多都很肤浅,暖不到人心里。奇怪的是,我感觉香港是一个比新加坡更商业化,更资本主义,更符合适者生存丛林法则的地方,但我却能经常遇到充满热情的香港志愿工作者。也许一个冷漠的地方更需要热情的人来温暖,要不然每个人都变成巨大商业机器上的一个个冷酷的零件了。 参加Interlocals网上讨论的另一个收获是,在little bridge上加上了Creative Common的声明。我以前对这个一直都不重视,总以为blog通常默认就是Creative Common的了。

  • 当 AI 客服解释不了 AI 的账单

    前几天用 Opus 4.8(Max)让 Claude 生成一段描述。这种事做过很多次,一向额度消耗不多。可这一次,一问一答就吃掉了 100% 的 Session 额度。我顺手做了个对照:同样的内容,之前生成成 Word 文档只花了不到 20%额度;换成Markdown + 图片重做一遍,却花了 100% 以上额度。同样的东西,五倍的差距。理论上MD文件应该消耗更少。 于是我去找了 Claude 的 AI 客服(Fin AI Agent)。整段对话二十来个回合,客服很礼貌,但从头到尾都在”绕圈子”。 它先给了一串泛泛的原因:对话长度、工具调用、附件大小、模型选择……我说这些我都懂,我问的是”为什么这一次异常”。 它改口说:这是 Opus 4.8 Max的”正常表现”,新版本重新标定了思考强度,会用更多 token,建议我降一档。我说我这样用已经一个多星期,从没这么烧过。 它又抛出一条新解释:6 月 30 日有一次”错误率升高”的已修复事故,也许有影响。我把那个五倍对照摆出来,它再改口:Markdown 会渲染成带样式的 artifact、图片以 data URI 内嵌,所以更烧额度,可我明明是同样的”文字 + 图片”,docx 和 MD 一样。更巧的是,Claude 以前明确告诉过我 docx 比 MD 更费 token,这正好前后打架。 绕到最后,它终于说了几句实话:它没有权限去查我具体的用量计算,也看不到后台;已经消耗掉的额度一律不退,”无论原因是什么”;它建议我用 Analytics导出用量报表:一本正经的胡说八道。那个 Analytics 页面在个人账号根本打不开。至于去哪里反馈这个异常,AI客服说没有反馈渠道,Claude Team会查我跟它的对话,没有工单号,没有确认邮件,也没有任何办法追踪是否有人在看。 故事的结尾有点意思。第二天,Fable…

  • | |

    木瓜教程之Google Docs使用手册

    Google Docs是一个基于Web的工具,它有跟Word相近的编辑界面,有一套简单易用的文档权限管理,而且它还记录下所有用户对文档所做的修改。 Google Docs的这些功能令它非常适用于网上共享与协作编辑文档。 Google Docs甚至可以用于监控责任清晰,目标明确的项目进度。对于简单的项目,它使用起来直接了当,不像dotProject那般复杂。 从Writely开始,我就一直在使用这个网上文档编辑工具。Writely被Google买去之后,整个工具跟Google的其它系统如Gmail,Google Spreadsheets等结合在一起,并且更名为Google Docs & Spreadsheets。这个木瓜教程讲的只是其中的Docs那部分,因此我这里只叫它Google Docs了。 另外,跟其它很多Google的产品一样,Google Docs在Firefox上有最好的显示效果,因此,这个教程引用的所有例子都是在Firefox上实现的。 登陆Google Docs 我一直很纳闷为什么国内的朋友很少知道Google Docs,因为Google Docs的链接如下图,就在Gmail主页的左上角上,一点就进去了。后来我才知道,如果Gmail的显示语言是设成中文的话,这个链接现在是没有的,相信Google Docs的中文版出来来后应该会加上去吧。 图1:从英文版的Gmail进到Google Docs 不过那也问题不大,可以直接从这个网址进去: docs.google.com 如果有Gmail帐号的话,可以用Gmail帐号登陆。如果你用习惯了原来的电邮地址,还不想体验Gmail的超级功能的话,你也可以点击登陆页面上的“Create a new Google Account”链接,用你的电邮地址来建立一个Google帐号。

Leave a Reply

Your email address will not be published. Required fields are marked *