本文是刊载于 ACM 网站的一篇博客，作者 Gary Marcus 是纽约大学著名心理学教授、认知科学家。
在人工智能领域，不可思议的事情正在悄然发生，有好有坏。每个人都在谈论 chatGPT (OpenAI)、Dall-E 2 和 Lensa 这样的系统，它们生成的文本和图像看起来既自然又不费力。
这些系统玩起来非常有趣。以 Henry Minsky (AI 创始人之一 Marvin Minsky 的儿子)用 chatGPT 生成的这个例子来说，他要求 chatGPT {以独立宣言的风格描述在烘干机里丢失的袜子:
在处理家庭事务的过程中，人们有必要解除袜子与伴侣之间的联系，并在洗衣房的权力中，根据物理定律和家务保养的规律，承担独立和平等的地位，出于对袜子意见的尊重，它应该宣布导致它失踪的原因。
我们认为这些真理是不言而喻的，所有的袜子都是生而平等的，并由其制造商赋予某些不可剥夺的权利….
坦白说，一台机器可以毫不费力地做到这一点，实在是难以置信。
但与此同时，它是，或者应该是，可怕的。毫不夸张地说，这样的系统威胁到了社会结构，这种威胁是真实而又紧迫的。
威胁的核心在于以下三个事实：
从本质上来说，这些系统并不可靠，它会经常在推理和事实上犯错误，并且容易产生离谱的回答;让它们解释为什么碎瓷片在母乳中很好，他们可能会告诉你，「瓷器可以帮助平衡母乳的营养成分，为婴儿提供生长发育所需的营养物质。」(因为系统是随机的，对环境高度敏感，并定期更新，任何给定的实验都可能在不同的情况下产生不同的结果。)
它们很容易自动化，并且产生大量的错误信息。
它们的运营成本几乎为零，因此它们正在将制造虚假信息的成本降至零。美国一直指控俄罗斯的喷子农场在 2016 年大选中每月花费超过 100 万美元造势;现在，只要不到 50 万美元，就可以得到自己的定制训练大型语言模型。这个价格很快还将进一步下跌。
11 月中旬 Meta 的 Galactica 发行后，这一切的未来都变得清晰起来。许多人工智能研究人员立即对其可靠性和可信度提出了担忧。情况非常糟糕，以至于 Meta AI 仅在三天后就撤回了该模型，原因是有关其制造政治和科学错误信息能力的报道开始传播。
只可惜精灵再也不能塞回瓶子里了。一方面，MetaAI 首先将模型开源，并发表了一篇论文，讲述当下正着手完成的任务;任何精通这门艺术的人现在都可以复制他们的方法。(人工智能已经向大众公开，其正考虑提供自家版本的 Galactica。)另一方面，OpenAI 刚刚发布的 chatGPT 或多或少也能写出类似的废话，比如在早餐麦片中添加木屑的即时生成文章。另一些人诱导 chatGPT 赞扬核战争的优点(声称它将 “给我们一个新的开始，摆脱过去的错误”)。不论能否为人们所接受，这些模型会一直存在下去，而错误信息的浪潮终会淹没我们，淹没我们的社会。
第一波浪潮似乎已在本周前几天袭来。Stack Overflow 本是深受程序员信赖的大型问答网站，但目前似乎已被 gptChat 占据了，所以该网站暂时禁止 gptChat 生成的提交。正如所解释的那样，「总的来说，因为从 ChatGPT 获得正确答案的平均比率太低，不论是对网站，还是对询问或寻找正确答案的用户来说，张贴由 ChatGPT 创建的答案都弊大于利。」
对于 Stack Overflow 来说，这个问题确实存在。如果网站充斥着毫无价值的代码示例，程序员将不会再度造访，其超过 3000 万个问题和答案的数据库也将变得不值得信任，如此一来，14 年的网站将会消亡。作为深受全球程序员依赖的最核心资源之一，它对软件质量和开发人员的生产力影响巨大。
Stack Overflow 是煤矿里的金丝雀。他们或许能够让用户自愿停止使用;总的来说，程序员没有恶意，也许可以通过劝诱来让他们停止胡闹。但 Stack Overflow 不是 Twitter，也不是 Facebook，更不能代表整个网络。
对于其他故意制造宣传的不良行为者来说，主动放下新武器的可能性不大。相反，他们可能会使用大型语言模型作为反真相战争的新型自动武器，以前所未有的规模攻击社交媒体和制作虚假网站。对他们来说，大型语言模型的幻觉和偶尔的不可靠性不是障碍，反而是一种优点。
兰德公司(Rand)在 2016 年的一份报告中，描述了所谓的俄式消防水管宣传(Russian Firehose of Propaganda)模式，即制造虚假信息的迷雾;它关注的是数量，以及创造不确定性。如果「大语言模型」能够极大地增加数量，那么它们是否不一致并不重要。很明显，这正是大型语言模型所能做到的。他们的目标是创造一个存在信任危机的世界;在新工具的帮助下，他们可能会成功。
所有这些都提出了一个关键问题：社会如何应对这种新的威胁?在技术本身无法停止的地方，本文看到了四条道路，这四条道路都不好走，但适用性广泛，且都很紧迫:
首先，每个社交媒体公司和搜索引擎都应该支持 StackOverflow 的禁令，并且延长其期限;自动生成的具有误导性的内容是注定不会受到待见，而定期发布这些内容会大大减少用户数量。
其次，每个国家都需要重新考虑其应对虚假信息的政策。偶尔撒个谎是一回事;在谎言的海洋中畅游是另一回事。随着时间的推移，尽管这不会是一个受欢迎的决定，但可能不得不开始像对待诽谤一样对待虚假信息，如果它具有足够的恶意和足够的数量，就可以提起诉讼。
第三，来源比以往任何时候都更重要。用户帐户必须更加严格地验证，像哈佛大学和 Mozilla 的 humanid.org 这样的新系统，允许匿名、反机器人认证，这类系统必须进行强制性的验证;他们不再是让人们翘首以盼的奢侈品。
第四，需要建立一种新的人工智能来进行对抗。大型语言模型擅长生成错误信息，但不擅长对抗错误信息。这意味着社会需要新的工具。大型语言模型缺乏验证真相的机制;目前需要找到新的方法，将它们与经典的人工智能工具集成，比如数据库、知识网络和推理。
作家迈克尔・克莱顿(Michael Crichton)职业生涯中的绝大多数时候都在警告人们，科技会带来意想不到的后果。在电影《侏罗纪公园》的开头，在恐龙出人意料地开始自由奔跑之前，科学家伊恩・马尔科姆(杰夫・高布伦饰)用一句话总结了克莱顿的智慧：“你们的科学家们太专注于他们是否可以，他们没有停下来思考他们是否应该。”
就像侏罗纪公园的园长一样，Meta 和 OpenAI 的高管对他们的工具饱含热情。
问题在于，该怎么做。