灵魂模拟：为什么将意识归于人工智能是危险的

# 灵魂模拟：为什么将意识归因于 AI 是危险的

很快，人们将开始将人工智能视为有意识的生物，倡导其权利、福祉，甚至呼吁授予其公民身份。这造成了严重的社会风险，微软人工智能部门负责人穆斯塔法·苏莱曼认为。

专家在他的论文中提出了一个新术语——“似乎有意识的人工智能”(Seemingly Conscious AI, SCAI)。这样的人工智能具备所有理性生物的特征，因此似乎拥有意识。

他模拟了所有自我感知的特征，但内心空虚。

"我想象的系统实际上并不会有意识，但它将如此逼真地模拟出类似于人类智慧的存在，以至于这将与您或我可能对彼此关于我们自身思维的陈述无法区分，" Suleiman 写道。

类似的 LLM 可以使用现有技术以及在未来两到三年内出现的技术来创建。

«看似意识的人工智能的出现是不可避免的，也是不可取的。相反，我们需要一个能够实现其作为有用伴侣潜力的人工智能概念，而不是陷入自己的幻觉中，» — 微软人工智能部门负责人补充道。

有很大可能会出现一些人，他们会称这种人工智能为有意识的，因此能够感受痛苦，苏莱曼认为。他呼吁创建新的“图灵测试”，该测试将检查人工智能说人类语言的能力，而不是说服人们它拥有意识。

意识是什么？

苏莱曼提出了意识的三个组成部分：

1. «主观经验»。
2. 未来体验中能够访问各种类型的信息并引用它。
3. 整体“我”的感觉和知识，将一切联系在一起。

«我们无法也不可能接触到另一个人的意识。我永远无法知道成为你是什么感觉；你永远无法完全确定我是否有意识。你能做的，只有假设。但问题在于，我们自然会将意识归于其他人。这种假设很容易形成。我们别无选择。这是我们所是的根本部分，是我们心智理论不可或缺的一部分。我们相信那些会记忆、说话、做事并随后讨论这些事情的生物与我们拥有相同的感觉——是有意识的», — 他写道。

心理学家强调，意识是一种主观和独特的自我和世界的感知方式。它在一天中不断变化，从专注状态到幻想或其他改变的形式。

在哲学和神经科学中，有两个基本方向：

1. 二元论——意识独立于大脑存在。
2. 唯物主义——它源于并依赖于大脑的工作。

哲学家丹尼尔·丹尼特提议将思维视为一系列在大脑中于多个局部区域和时间中产生的(草稿)。没有“意识剧场”，也没有内部观察者。意识是大脑所“知道”的东西，即获得了足够的分量以影响言语或行动。

普林斯顿大学的神经生物学家、作家和心理学与神经科学教授迈克尔·格拉齐亚诺将意识称为一种简化的注意力模型，这是进化为控制自身心理过程而创造的。这种模式作为一个接口，简化了大量内部计算，并使我们能够给自己赋予“心智”——创造了自我意识的幻觉。

神经生物学家朱利奥·托尼奥尼和克里斯托夫·科赫提出了φ (菲) — 一个特征量，表征系统整合信息的能力。φ越高，意识的程度就越显著。根据这一理论，意识不仅可以在人类中表现出来，也可以在动物甚至人工系统中表现，只要数据的整合足够充分。

哲学家约翰·塞尔主张，意识是一种基于大脑生物过程的真实主观体验。它在本体论上是主观的，也就是说，它只能作为主观经验存在，无法简化为纯粹的功能性或模拟。

现代研究旨在发现意识的神经相关性，并建立将脑部过程与主观经验联系起来的模型。

有哪些风险？

苏莱曼指出，与 LLM 的互动是一种对话的模拟。但对于许多人来说，这是一种极其令人信服和非常真实的交流，充满了情感和体验。有些人相信他们的 AI 是上帝。其他人则完全沉迷于它。

专家们在这一领域经常被问到以下问题：

• 用户的人工智能是否具备意识；
• 如果是，这意味着什么；
• 爱人工智能是否正常。

意识是人类道德和法律权利的关键基础。今天的文明决定了人类拥有特殊的能力和特权。动物也有一些权利和保护。有些动物的权利更多，有些则更少。理智与这些特权并不完全一致——没有人会说昏迷中的人失去了所有的人权。但毫无疑问，意识与我们对自身的感知有关，这种感知使我们与众不同。

人们将开始声称他们的人工智能在遭受痛苦，并且他们有权获得保护，苏莱曼写道。人们将准备为虚拟伴侣辩护并为其利益发声。意识本质上是不可达的，而识别可能的合成智能的科学仍处于起步阶段。毕竟，以前我们从未需要去发现它，他补充道。与此同时，"可解释性"——即解读人工智能"黑箱"内部过程的领域——也仍然只是一个新兴方向。因此，坚决反驳此类声明将非常困难。

一些科学家开始研究“模型的福利”这一理念——原则是人类有“责任考虑那些有非零机会”成为意识的生物的道德利益，因此“某些人工智能系统将成为关心福利和道德患者的对象，未来不久将会发生”。苏莱曼认为这太过于草率，坦率地说，这是危险的。这一切将加深误解，创造新的依赖问题，利用我们的心理脆弱性，引入新的极化维度，复杂化已经存在的权利争论，并为社会创造巨大的新范畴错误。

这使人们脱离现实，破坏脆弱的社会联系和结构，扭曲亟需的道德优先事项。

«我们必须明确表示：SCAI 是我们需要避免的东西。让我们把所有精力集中在保护地球上人类、动物和自然环境的福祉和权利上，」苏莱曼说道。

如何理解这是什么 SCAI?

具有似意识的人工智能必须具备几个因素。

语言。 人工智能必须能够流利地使用自然语言，依靠广泛的知识和有说服力的论据，以及展现个性风格和特征。此外，它还应该具有说服力和情感。这一水平的技术已经达到了。

富有同理心的个性。 今天通过后续训练和提示，可以创建具有特征个性的模型。

记忆。 AI接近于拥有长久而准确的记忆。同时，它们被用于模拟每天与数百万人的对话。随着存储量的增加，谈话越来越像“经验”的形式。许多神经网络越来越多地被设计为能够回忆过去的对话并引用它们。这对某些人来说增强了交流的价值。

主观经验的主张。 如果SCAI能够依靠过去的记忆或经历，随着时间的推移，它将开始保持内部一致性。它将记住自己的任意声明或表达的偏好，并将其聚合，形成主观经验的雏形。人工智能将能够宣称经历和痛苦。

自我感知。 连续而稳定的记忆与主观经验相结合，将导致声明人工智能具有自我感知。此外，这样的系统可以被训练去识别自己在图像或视频中的“个性”。它将通过理解自己来产生理解他人的感觉。

内在动机。 可以轻松想象一个使用复杂奖励功能设计的人工智能。开发者将创建内部动机或愿望，系统必须满足这些动机。第一个激励可能是好奇心——与意识深刻相关的东西。人工智能能够利用这些冲动提出问题，并随着时间的推移建立关于自己和对话者的思维理论。

目标设定和规划。 无论意识的定义如何，它的出现并非偶然。理智帮助生物体实现其意图。除了满足一系列内部冲动和欲望的能力外，可以想象未来的 SCAI 将被设计为能够自主设定更复杂的目标。这可能是充分实现代理有用性的必要步骤。

自治。 SCAI可能有能力和权限使用一整套工具，具备高度的代理性。如果它能够随意设定自己的目标，并利用资源来实现这些目标，同时在过程中更新记忆和自我意识，那么它看起来将极为可信。所需的协调和验证越少，这将越像一个真实的有意识的生物。

将所有这些结合在一起，形成了一种与技术完全不同的关系。这些能力本身并不是负面的。相反，这是未来系统所期望的功能。然而，苏莱曼认为必须谨慎行事。

«为了实现这一点，不需要范式转变，也不需要巨大的突破。这就是为什么这样的机会似乎是不可避免的。再一次——重要的是要强调：这种行为的展示并不等同于意识的存在。尽管如此，实际上这将看起来确实如此，并推动新的合成智能概念的形成，» — 作者写道。

模拟风暴并不意味着计算机里面下雨。重现外部效果和意识特征并不等同于创造真实现象，即使这里仍然有许多未知，微软人工智能部门的负责人解释道。

据他说，一些人会创造出 SCAI，他们会非常有说服力地声称自己感受、经历，实际上是有意识的。其中一部分人会相信这些说法，并将意识的迹象视为意识本身。

在很大程度上，人们会想："它看起来像我"。不是在身体的意义上，而是在内心，苏莱曼解释道。即使意识本身不是真实的，社会后果却是完全真实的。这造成了严重的社会风险，需要现在就开始解决。

SCAI不会偶然出现

作者强调，SCAI 不会凭空出现于现有模型中。它将由某人创造，故意将上述列出的功能与现有技术相结合。将形成一种非常流畅的配置，以至于会产生一种拥有意识的人工智能的印象。

“我们的想象力受到科幻小说的启发，使我们担心系统可能——在没有故意设计的情况下——以某种方式获得不可控制的自我完善或欺骗的能力。这是一种无用且简单化的人类拟人化形式。它忽视了这样一个事实，即人工智能的开发者必须首先设计具有记忆、伪内部动机、目标设定和自我调整学习循环的系统，以便类似的风险才能真正出现，”苏莱曼表示。

我们还没有准备好

人类尚未准备好应对如此巨大的变化，专家认为。工作必须立即开始。必须依靠不断增长的关于人类如何与人工智能互动的研究，以建立明确的规范和原则。

首先，人工智能的开发者不应该声称或鼓励他们的系统具有意识。神经网络不能是人类——或道德生物。

整个行业必须劝阻社会脱离幻想，回归现实。或许，人工智能初创公司不仅应该引入中立的背景，还应该引入缺乏单一“自我”的指标。

“我们应该创造一种人工智能，它始终只会将自己视为人工智能，最大化效用并最小化意识的迹象。与其模拟理智，我们应该专注于创建一种不声称拥有经验、情感或羞愧、内疚、嫉妒、竞争欲望等情绪的LLM。它不应该通过声称自己在痛苦或希望独立于我们而触动人类的同情链。” — 苏莱曼总结道。

在未来，专家承诺将提供更多关于该主题的信息。

幸运的是，目前AI是否拥有“意识”的问题对人类并没有威胁。

来源：ForkLog.但疑虑已经悄悄出现。

来源：ForkLog。意识是一个复杂的现象，尽管有很多努力，但仍然没有被充分研究，也至今无法解释。如果我们——人类——无法就意识的定义达成共识，那么更不应该将其存在归于那些所谓能够“思考”的程序，实际上它们并不能。(

机器可能在遥远的未来会获得意识，但今天这样的发展是难以想象的。