加载失败
这篇帖子讨论的是一个用公开网页“编造”事实的实验:作者先在个人博客和 YouTube caption 里写下一个看似正式的说法,再看 Google 搜索摘要和接入检索的 LLM(Large Language Model,大语言模型)是否会把它当成真相。评论里提到他之前还做过类似的 Teresa T whale 实验,让搜索系统把一只在 Half Moon Bay 附近出现的座头鲸认成了这个名字。这里的“冠军”其实是一个并不存在的头衔,讨论对象还包括 6 Nimmt!(一种桌游/纸牌游戏)这类很冷门的问题,因为越冷门越容易被少量网页内容左右。很多人把这和 citogenesis(错误信息在网络引用中循环自证)以及 SEO(Search Engine Optimization,搜索引擎优化)联系起来,担心 LLM 一旦直接接在被污染的网页上,就会把看起来像证据的东西输出成答案。
多个评论指出,只要公开网页里出现一条看似正经的说法,Google 搜索摘要和接入检索的 LLM 就可能把它当成既成事实。有人用反向提问去搜 Teresa T,结果模型会编出背景、方法和“意义”,甚至在 6 Nimmt! 冠军这种问题上也给出一本正经的答案。评论里反复提到,问题不只是答案错,而是模型把来源藏起来后,用户失去了判断信息出处的机会。很多人因此强调,引用和原始来源必须摆到台面上,否则权威口吻会直接绕过怀疑。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8] [来源9]
也有人认为,这更像互联网长期存在的信任问题,而不是 LLM 独有的 bug。Google、page rank、Wikipedia、Reddit astroturfing、SEO 和品牌本来就会决定谁被看见,谁看起来像权威。区别只是 LLM 把检索到的碎片直接缝成一段自信的回答,用户不再能从搜索列表里判断来源可靠性。有人还提到,传统百科、付费词典和各类 literature 本来就会在“谁是事实来源”这件事上制造偏差。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8] [来源9]
不少评论把这种做法理解成一次刻意的演示,而不是单纯的 vandalism。类比是往路上放石头:很烦,但能证明系统确实有洞,而且只需要很少的网页内容就能让模型跑偏。有人还提议把类似案例收集成数据集,看看还能发现多少、覆盖哪些领域。支持者的核心观点是,先证明可以做到,才知道以后会有更有动机的人去做。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8]
另一批评论把焦点放在更大尺度的滥用上:有影响力的博主、PR 团队、政治操盘手,甚至国家级主体,都可能用极低成本把假叙事塞进模型。有人直言,新的传播技术每次都在降低 misinformation 的扩散门槛,而 LLM 只是把这件事做得更快、更像事实。也有人把广告、创业承诺和政治宣传并列,认为这不是纯技术问题,而是社会长期容忍谎言的结果。这个角度下,所谓证据越少,越容易被包装成机器给出的答案。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6]
很多人把这件事和一串经典网络梗、都市传说、假史案例并列来看。比如 santorum、Mr. Splashy Pants、Polybius、Frank Dux、Frank Abagnale 这些例子都说明,重复传播本身就能给虚构内容堆出可检索的现实感。有人还提到,LLM 时代可能出现一种新的 Mandela Effect:不同模型或不同检索路径会给出彼此矛盾、但都很自信的版本。换句话说,笑话、传说和伪造条目一旦进入搜索生态,就很难再完全退回成没人会信的东西。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8] [来源9] [来源10]
还有一条支线在争论这篇文章本身是否带着 AI 写作痕迹。有人觉得措辞里充满 fake profundity,读起来像自动生成;也有人反驳说,这种括号式插话和行文风格在作者旧文里早就存在。评论里还出现了把 AI generated 当作懒惰式否定的担忧,认为只凭感觉下结论并不可靠。这个争论和主题本身形成了有趣的反差:大家一边讨论机器会不会伪造事实,一边又在猜作者是不是机器。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6]
citogenesis: 信息先在网络上被错误发布,再被其他来源引用,最后看起来像被“证实”了的循环式造假传播。
SEO: Search Engine Optimization,提升网页搜索排名的做法;也可能被用来放大或伪装虚假信息。
LLM: Large Language Model,大语言模型;在这里指会把网页检索结果整合成自然语言答案的系统。