AI热点 7小时前 66 浏览次数 0 评论

几月前的伤心事,ChatGPT突然翻出来提醒我?网友当场破防:太会捅刀子了!

AI中国
AI中国

发布了 7799 文章

从病历、口味偏好到不堪回首的往事,AI正悄悄建立你的数字人格档案。但你真准备好让AI永远记住你的每一句话?AI算法背后,不止有温柔,还有社死和残酷。


今年4月,OpenAI发布了ChatGPT的「记忆」功能:



此后,ChatGPT的记忆功能正在全面升级,不仅更智能、更自然,甚至免费用户也能享受。它能记住你说过的话,形成个性化档案,不断优化对话体验。但问题也随之而来——


你,真的准备好让一个AI永远记得你吗?


这很重要:并不是每个人都准备好接受永不遗忘的聊天机器人。



ChatGPT的记忆功能通过利用之前对话中的上下文信息,为用户提供更个性化的回答。


例如:记者Megan Morrone曾要求ChatGPT提供素食餐单,但不包含扁豆。从那以后,聊天机器人就记住了她不喜欢扁豆。


最初的记忆功能像是私人备忘录,需要你主动写下。


而现在,它变得更「懂你」——甚至能自动记录你在不同对话中的行为和偏好。


OpenAI个性化负责人Christina Wadsworth Kaplan告诉媒体,今年的重大更新就是让「记忆更自然、更自动」。



她还分享了一次亲身经历:


有次她准备出国旅游,ChatGPT基于她过去上传的健康记录,主动在推荐疫苗清单里多加了一种疫苗。


护士看过后点头认可。


这才是真正的「AI很懂你」。


新型AI社死与网络创伤


但并非像OpenAI承诺的那样美好,「记忆」功能背后也有问题。


比如,它可能会突然提醒:「你不是不吃扁豆吗?」


或者,它随口提到你几个月前说过的伤心事。


有时,这种「AI的长记性」会让人心里发毛。


在2024年2月,OpenAI首次公布该功能,当时承诺:诸如健康信息等敏感内容,ChatGPT会克制,除非用户明确要求。


但你信吗?没错,现在你可以直接告诉它:「记住这件事。」或者反过来说:「别记住这个。」AI会遵守你的指令。


如今的ChatGPT的「记忆」功能,会自动记录之前的聊天内容,用来理解用户的偏好和背景。


这是个性化系统,涉及到的不仅是隐私问题,更尴尬的事情也不少。


Megan Morrone让ChatGPT根据记忆生成一张她自己的形象。



结果AI画像中,出现了婚戒——可她早已对婚姻失望透顶了。❤️‍🩹



记忆不是越久越好,尤其当它来自无法控制的机器。


持久记忆还可能让聊天机器人变「无所不知」,从而减少用户对大语言模型(LLM)的控制。


开发者Simon Willison上传了狗狗的照片,请ChatGPT给它P个鹈鹕装,结果图上还加了个「Half Moon Ba」的牌子。


AI解释说:「因为你之前提到过这个地方。」



他气笑了:「我不希望我对狗穿奇装异服的爱好,干扰我未来想认真工作的提示词啊!」🥲


AI有了永久的记忆,却忘了生活本身就该有选择性遗忘。


你以为只是技术 bug,其实背后藏着两类让人发毛的问题👇:


(1)无意的算法残忍(Inadvertent Algorithmic Cruelty);


(2)上下文崩塌(context collapse)。


无意之失:算法的残忍


大概十年前,博主Eric Meyer提出了「无意的算法残忍」这一术语。



那天下午,悲伤却不期而至,而这一切竟要归功于一群设计师和程序员——此刻,这些脸书幕后的创作者或许正沉浸在成就感中。


他们为「年度回顾」应用倾注心血,的确值得骄傲——无数用户借此分享年度高光时刻。



但过去一年非常艰难,他不愿意制作个人回顾。


动态页里不断涌现他人制作的回顾卡片,几乎都配着默认文案:「这是精彩的一年!感谢有你参与。」


单是看到「精彩」这个形容词,就足以令他不适:这个词与他毫不相干。


直到他的首页突然跳出他女儿微笑的照片,怂恿他也创建一份:「Eric,这就是你的年度回顾!」



就是在这一年,他的女儿因癌症去世,当时早已不在人世。


是的,这就是他的「年度后顾」。千真万确。就是这一年,就是他的女儿再也见不到的面容,在提醒他要年度回顾!


提醒如此生硬,实在残忍。


这不是蓄意的伤害,他当然理解。


这种「无心的算法暴力」,源于一套代码——在绝大多数情况下,它运行良好,提醒人们回顾自己「精彩」的一年,展示大家在派对上的自拍、游艇边看到的鲸鱼喷水、度假屋外的码头风景。


但就在同一年,有人失去至亲,有人在医院度过漫长时光,有人遭遇离婚、失业或其他生活危机……


或许,他们并不想再回望这一年。





将已故女儿的面容展示给他,还再一旁说「这是今年的你!」——此情此景,谁都会感到不适。


是个人,就觉这不对。


如果出自真人之手,那确实就是错的。但来自代码,只能说是不幸。而且这些问题难以解决,真的很难。


这并非简单的任务,算法很难判断一张照片收获无数点赞,究竟是因为滑稽可笑、惊艳绝伦,还是令人心碎?


本质上,算法没有「心眼」,甚是「无脑」。它们按照设定的流程运行,一旦启动,便不再思考。


说一个人「缺心眼」,通常是一种轻慢或侮辱。然而,人类却让这么多真正「缺心眼」的算法流程,肆意侵入用户的生活,甚至反噬自身。


真正的智能,不只是「记住你说过的每一句话」,而是「懂什么才是你的伤心事」。


上下文崩塌


Willison遇到的问题是算法系统中另一种常见的现象,叫做「上下文崩塌」(context collapse)。


这指的是用户在不同领域(工作、家庭、爱好等)中的数据被混在一起,模糊了它们之间的界限。


像许多学术概念一样,「context collapse」并不是某个人灵光一现的产物,而是在不断的交流碰撞中,慢慢浮现。


但不断有学界人士写信给danah boyd,询问她是否创造了「上下文坍塌」(context collapse)一词,因此她回过头查阅自己的记录以弄清楚这个问题。



danah boyd(达娜·博伊德):微软研究院首席研究员兼Data & Society研究所创始人及主席。她的研究关键词包括:隐私、人口普查、语境、算法、公平、正义


2001年,她开始在MIT攻读硕士。


于是在2002年,她写了一篇硕士论文,题为《Faceted Id/entity》,深受Erving Goffman和Joshua Meyrowitz思想影响。


在那篇论文中,她花了整整一章反复讨论「collapsed contexts」,尽管当时并没有系统地定义这个词。


整篇论文其实就是在探讨:在不同的语境中,如何构建和管理身份。



论文链接:https://www.danah.org/papers/Thesis.FacetedIdentity.pdf


她尤其热爱Meyrowitz的那本《No Sense of Place》。这本书剖析了媒体如何影响人际互动,揭示了人们如何在多重受众之间周旋的困境。比如,一张假期照片被不同人看到后产生的错位理解。



中译本为《消失的地域》,着重研究了新的信息流动模式对社会行为的影响。作者继承了场景理论和媒介理论,提出了将面对面的交往研究与媒介研究联系在一起的切入点:社会「场景」结构。


在2003-2004年,她做过几场讲座。在幻灯片里面。她把「collapsed contexts」一词应用到了Friendster社交平台,用来描述不同小众文化意外交集的现象。


在某些讲稿笔记中,偶尔她也把「collapsed contexts」简化成了「context collapse」,但大多数时候,还是用原来的说法。


一直到2005—2008年,她发表的一些文章依然在用「collapsed contexts」。比如她的博士论文把「语境坍塌」作为核心概念。



论文链接:https://www.danah.org/papers/TakenOutOfContext.pdf


2009年,她开始和Alice Marwick合作。



Alice E. Marwick:北卡罗来纳大学教堂山分校(University of North Carolina at Chapel Hill,UNC)传播学系副教授、信息、技术与公共生活中心(CITAP)联合创始人兼首席研究员。她专注于社交媒体技术的社会文化影响研究,主要学术贡献包括:网络媒体操纵与虚假信息、微名人现象(micro-celebrity)、网络隐私、语境崩塌(context collapse)。最新著作:《私域即政治:网络时代的隐私与社交媒体》(耶鲁大学出版社,2023年5月出版)

Alice对「collapsed contexts」和「想象中的受众」很感兴趣,也她从「微名人」角度对这些观点提出了挑战。


Alice收集了大量Twitter用户如何管理受众的资料。


后来,利用这些数据,她们发表了一篇文章。


这是第一次在正式出版物中使用「context collapse」这个表达。



具体是怎么从「collapsed contexts」变成「context collapse」,danah boyd也记不清了。


与此同时,2009年Michael Wesch也发表了一篇文章,题目中也出现了「Context Collapse」这一术语。



虽然都在媒体研究圈活动,但他们应该不是直接引用彼此的作品,而是都在同一片理论土壤中生根发芽。


如今,当谈起「context collapse」时,danah boyd经常会提到Meyrowitz。


虽然这个术语并非他提出的,但正是他的理论,让danah boyd意识到了这种现象的重要性。


总结


ChatGPT的记忆让AI更像一个有个性的助手——它能记住你的喜好、经历、健康状况,甚至你的笑点。


但这也意味着:


它可能说出你不愿被提醒的往事;


可能误解你某一时刻的心情为永久偏好;


甚至让人觉得:「它知道得太多了。」


所以,真正的挑战,不是让AI记住你——而是让你有权决定,它记什么、怎么记、记多久。


欢迎来到AI的「永久记忆」时代。


但别忘了,你才是记忆的真正主人。


请记住,你总是可以对AI说「别记住」。


参考资料:


https://www.axios.com/newsletters/axios-ai-plus-cc128fe8-9e1b-42ca-8c75-b681425dca55.html


https://meyerweb.com/eric/thoughts/2014/12/24/inadvertent-algorithmic-cruelty/


https://www.zephoria.org/thoughts/archives/2013/12/08/coining-context-collapse.html


文章来自于微信公众号“新智元”。


AI中国

AI中国

7799 文章 1196691 浏览次数 950300 粉丝

评论 (0)

睡觉动画