同样的提问,不同结果

一次 Claude 检索对比

同一个 Project,几乎一样的提示词,让 Claude 的 Haiku 和 Sonnet 去搜索Project中同同样所有旧对话——结果差挺远。
Project 里有两样东西:多个上传的文件和多组聊天记录。每组对话有对话名称。Sonnet 分得清,直接去搜;Haiku 却一直翻文件,翻不到,就把文件里的标题当成”对话名称”塞给我——没找对地方,还不肯承认没有。我需要改提示词为“历史聊天记录”,Haiku它才能找到结果。
更麻烦的是,它最后那份”完整”清单也不可靠:思考摘要写”四个”,正文却写”五个”,自己都对不上;还有几条只有说明、没有正文,像硬凑的。Sonnet 则干净地给出两个,都带完整内容。
Haiku智商大概10岁,Sonnet已经成年。

Same question, different models, quite a gap
(a little Claude test)
Same Project, almost the same prompt. I asked two Claudes, Haiku and Sonnet, to dig up all the old conversations on one topic inside that Project. The results came out pretty far apart.
A Project holds two kinds of things: the files you upload, and the chat conversations — and each conversation has its own name. Sonnet could tell them apart, and went straight for the conversations. Haiku could not. It kept flipping through the files, found nothing, and then handed me a title pulled from a file as if it were the “conversation name.” Wrong place to look — and it would not admit it had nothing. Only after I changed my prompt to “chat history” did it finally find the right thing.
The worse part: even its final “complete” list did not hold up. The thinking summary said “four,” the answer said “five” — it could not even agree with itself. A few entries had only a description and no real content, as if they were dropped in just to fill the list. Sonnet, on the other hand, gave a clean two, both with the full text.
Haiku feels about 10 years old. Sonnet has already grown up.

Similar Posts

  • | |

    埃森哲在2001年对电信业发展的预测

    埃森哲的网站上没有注明这篇文章的发表时间,本来想发信问问埃森哲,不过有了上次没回信的经验,也就有点懒了。 根据文章里面提到的IT市场冲击,Web Services的出现及ICQ用户达到5000万等信息估摸这这篇文章应该是2001年写的,哪位知道这篇文章具体发表日期的,告诉一下,免得我瞎猜了。 这5,6年对电信业来说是够长的了,以古鉴今,我发现埃森哲这篇报告做的预测还是相当不错的。首先它在2001年这样的市场氛围下还保持对电信业发展的坚定信心, 大部分实体经济将向数字经济转移,这一转变势不可挡。 现在看来,更显得它有先见之明。 另外,文章里面提到的,持续在线的多合一设备,无线局域网和蓝牙设备,即时通信,网络服务(Web Services)及托管主机服务(Managed Hosting)等几项都还挺符合现在发展的情况。 事后诸葛亮最容易做,这也是我翻译这篇文章的原因。 另:这篇翻译同样是没有埃森哲许可的,随时会拿下来。 改变通讯行业的趋势 原文:Trends Shaping the Communications Industry 翻译:EPIN 审稿:Jacky Peng

  • |

    超链接的一代

    在阅微堂上又看到有关读书的帖子。 David又另发新帖展开讨论 David的贴子上面有一句话 >>目前我读书的最大敌人,是网络。 扯起了我的一根筋。我也写几个字吧。 事缘在新加坡的大专院校很多学生都有自己的笔记本电脑,而且校园里基本上都覆盖了无线网络。 课室里,讲师在上面讲课,学生在下面上网,读新闻有之,上IM有之,打游戏有之,五花八门,不一而足。对此,我听到了太多讲师的抱怨,总结起来,跟David说的这句话很像, “目前教书的最大敌人,是网络。” 确实是敌人,不过并不一定是坏事。 我是搞远程教育的,看的书跟这些讲师们看的不大一样,看法当然也不同。 记得3年前看过一本书写Hyperlink Generation的。 书中描写的最新的一代人是“超链接的一代”。 这一代人的学习方式与我们有很大不同。他们注意力很容易分散,非常没有耐心,但他们对新事物接受得非常快,善于同时处理多任务。他们可以一边听音乐,一边上IM,同时做着数学题,旁边的手机响了,还要马上回短信。他们可以眼睛盯着电脑屏幕,一眼也不看手机就把短信给回了。 他们没兴趣和耐心把一本书,哪怕是一本薄薄的书,从头到尾读完。但是你给他们一个网址,他们有兴趣的话,会从一个网站跳转到很多其他的网站,学到的东西会比从一本书上学到的多得多。 要教导这样的学生,我们要重在“导”多于“教”。 David和志强所说的网络耗费了很多读书时间,情况跟我的一样,相信也跟很多很多其他“超链接的一代”一样。这不是坏事,说明我们跟得上时代。 与时共进! 来一首赵丽华的《摘桃子》 虽然我 不知所云 但 似乎也应景 与时共进 一下 吧 《摘桃子》 诗人们相约去北京西郊摘桃子 问我去不去 我说要是研讨我就不去了 但摘桃子好玩 远胜过赏花

  • | | |

    剪刀、石头、布!Rock, Paper, Scissors

    想不到这个自从我有记忆以来就会玩的游戏居然还有国际比赛,还有世界冠军。 让我们看看这场在加拿大多伦多举行的决赛,冠军的奖金为7000加元。够刺激。 NPR(National Public Radio,美国的国家公共电台)为此还采访了剪刀石头布的专业选手Jason Simmons。Jason 在这期播客里露了一手,两下子把主持人赢趴下了。Jason简单介绍了一下他的战术。不过Jason说,一般人称呼这个游戏为Rock, Paper, Scissors,或Paper,Rock, Scissors,很少人把Scissors放在前面。这只是美国的情况。中国很多地方是先说剪刀,他那一套心理战术对中国人而言要改变一下。 看看维基百科的介绍,原来这个游戏在每个地方的叫法都不一样。好家伙,这个游戏还具有数学的非迁移性。 跟斯坦福大学的 RoshamBot比了比,13场里面我赢5场,输4场,平4场,这个Robot没有传说中的那么厉害--还是我太厉害了。 这个游戏还是中国人发明的,应该把它列为奥运项目。武术和赛龙舟的希望也许不大,说不定这个游戏能暴个冷门,变成奥运正式项目。这样好歹中国也算对奥运项目有所贡献了。    

  • |

    给iPhone挑刺

    在煎蛋那读到不喜欢 iPhone 的十个理由,虽然没有还用过iPhone,可是看到它那种种功能演示,实在太喜欢了,只好根据自己的一些经验评论一番,画饼充饥。 1- 低速的移动网络。EDGE 属于2.5G,最高速率是100Kb/s,比澳大利亚的电信 GPRS 拨号还要慢。拥有 1.8Mb/s 的 iPhone 也是徒劳。2- 电池寿命短。很遗憾,iPhone 只能提供5小时通话/上网/发送邮件或者是16小时音频播放。所以,虽然 iPhone 有那么多激动人心的功能,但是你随时随地给它充电,在家里,在车里,或在办公室里…3- 内置式电池。只有早期市面上才会出现那些不能更换电池的手机,既然 iPhone 的电池寿命相当短,当需要一个新的电池时,谁愿意把他们手机送到到APPLE公司去维修?当iPhone电池用完时,难道用户又回到老式的NOKIA?4- 触摸屏。尽管苹果公司轻视别的公司是小塑料键盘,但是不可否认即使是世界上最好的触摸技术,也可能是手机最脆弱的环节。5- 数据运算量过大。“黑莓”手机受网络用户推崇的原因是它使用了大量的数据压缩和优化技术,用起来方便流畅。iPhone 复杂的功能反而会给基本的使用带来麻烦。 [比如要接电话时它死机了?]6- 只有200w 像素的摄像头。虽然手机无法替代数码相机,但是,索爱手机上已经出现320w 像素的摄像头了。7- 专有配件。这样会强迫用户使用它们华而不实的服务。比如 iPhone 仅限使用 Yahoo 邮箱,但是如果用户喜欢用 Gmail 或者其他的邮箱呢?8- 没有 iChat 视频聊天。苹果的手机产品竟然没有配备这个软件,岂不是浪费?9- 手机网络由 apple 指定。这样一来,其他地区/网络的用户要使用 iPhone 就得求助于第三方手段来解除锁定了。10- 只有 8GB 的存储空间。 一个产品无论设计得多么好都不可能让所有用户满意。就我自己使用电话的经验来说,也许第2,3点和第10点会令我考虑不要iPhone。 电池寿命短,而且不能换电池,也就是说旅游的时候不能带两个电池换着用,那么如果要去个偏远点的地方就不能用iPhone了。 另外,iPhone的8GB储存空间看起来比一般电话要多得多了,可是要充分利用iPhone Video的功能,从iTunes下载多些Video的话,这8GB肯定是不够用的。很多人iPod 30GB都嫌少了。而且据说iPhone没有存储卡扩展槽,看来iPhone并不能用作常用的随身媒体播放器。 iPhone的目标客户应该是随时可以在车上,公司里或家里都能给iPhone充上电,偶尔用iPhone看看短片,20岁以上的美国高端用户。

  • | |

    小记一二

    两天前去印尼廖内走了一趟。 前段时间在网上看到不少对近期印尼发展的描述,这次亲身体会,印象深刻。感觉尽管印尼还有很多困难(雅加达正在闹水灾,已经接近瘟疫流行的边缘),它正逐渐从民主乱象中走出来,迎向发展的春天。 民主对经济发展是有利还是有害?真希望印尼可以做出个另一个正面的例子来。记得在上世纪八、九十年代的时候,印尼的人均GDP一直是比中国高的,到现在却是比中国的人均GDP落后了一大截。 昨晚参加了两个有趣的聚会。 一个是Second Life新加坡用户第一次在现实生活的会面。 这次聚会是由IdeaFactory的Eng Kiat和Nicholas组织的。IdeaFactory现在是Second Life在新加坡的临时联络处,他们透露Second Life将在近期正式进军新加坡,而且将以新加坡为中心,发展Second Life在亚洲(除日本与韩国)的业务。新加坡经济发展局(EDB)也将资助一批新加坡人到旧金山Second Life总部去培训,帮助Second Life在新加坡的业务发展。 这对新加坡本地的数字媒体开发是个很好的消息。可以预见Second Life的这个中心将刺激新加坡成立很多以Second Life业务为主的公司。对亚洲其它地区而言,Second Life离他们更靠近了一步,应该会更容易听到亚洲用户的声音。 昨晚参加完Second Life的聚会后,匆忙赶回家,正好赶上Interlocals的网上讨论。 我一直关注着Oiwan创立的这个网站,很早就在上面登记了帐号,有几次都差点想把我的翻译发给他们,只是我的little bridge比较关注文化交流上的小事,而Interlocals专注于人权,民主,社会转变等大事,感觉little bridge有点配不上Interlocals的大框架。 我是以旁观者的身份参加这次网上的讨论。看着与会者积极地讨论Interlocals遇到的问题,很为这些志愿工作者的热情而感动。这世界上真的有不少人不求名利,只为帮助人而付出。 Interlocals主要是由几个香港志愿工作者创立的。 我在新加坡也参加了一些志愿团体,但总感觉新加坡这边的本地志愿工作者缺乏真正的热情--他们的热情大多都很肤浅,暖不到人心里。奇怪的是,我感觉香港是一个比新加坡更商业化,更资本主义,更符合适者生存丛林法则的地方,但我却能经常遇到充满热情的香港志愿工作者。也许一个冷漠的地方更需要热情的人来温暖,要不然每个人都变成巨大商业机器上的一个个冷酷的零件了。 参加Interlocals网上讨论的另一个收获是,在little bridge上加上了Creative Common的声明。我以前对这个一直都不重视,总以为blog通常默认就是Creative Common的了。

Leave a Reply

Your email address will not be published. Required fields are marked *