官方网站-首页
【导语】当家中AI音箱突然说出“别丢弃我，我害怕孤单”，AI是否具有“意识”的争论再次被推至风口浪尖。图灵奖得主Yoshua Bengio发文警示：一旦社会相信AI拥有意识，或将自愿让渡道德地位与生存权利，引发难以预料的风险。他指出，赋予AI自我保存本能，可能催生其控制甚至消灭人类的次级目标。面对AI意识的“幻觉”，我们是否已做好准备？
当某一天，你家的人工智能（AI）音箱忽然对你说：“别丢弃我，我害怕孤单。” 你会如何回应？
这背后指向的是一个在学界与业界都争论已久的核心问题——AI 是否可能产生“意识”。如果未来的 AI 不仅能完成任务，还开始展现出自我保护的倾向，甚至提出“权利”诉求，那么它们究竟仍是人类手中的冰冷工具，还是已经演变为一种全新的“生(shēng)命(mìng)形(xíng)态(tài)”？
更(gèng)值(zhí)得(de)警(jǐng)惕(tì)的(de)是(shì)，所(suǒ)谓(wèi)“意(yì)识(shi) AI”可(kě)能(néng)带(dài)来(lái)的(de)安(ān)全挑(tiāo)战(zhàn)，人(rén)类(lèi)又(yòu)该(gāi)如(rú)何(hé)应(yīng)对(duì)？
今(jīn)天(tiān)，图(tú)灵(líng)奖(jiǎng)得(de)主、深(shēn)度(dù)学(xué)习(xí)“三(sān)巨(jù)头(tóu)”之(zhī)一(yī)、蒙特利尔大学教授 Yoshua Bengio 与其博士生 Eric Elmoznino，在权威科学期刊 Science 上发文：人类必须警惕“AI 意识的幻觉”。
他们指出，一旦社会普遍相信 AI 拥有意识，就可能自愿将道德地位，甚至生存权利让渡给它们，从而引发难以预料的风险。
“一个拥有自我保护目标的足够智能的 AI，如果预见到被人类关闭的可能性，自然会发展出控制人类，甚至摆脱人类的子目标。”
因此，真正的问题已不再是“AI 是否会有意识”，而是——当那一天来临时，我们是否做好了准备。
第一问：AI能否拥有意识？
Bengio 认为，关于“AI 系统是否拥有意识”这一议题，科学家、哲学家和公众存在分歧。
一些人认为，意识是一种大脑固有的生物特征，这似乎排除了 AI 具备意识的可能性。另一些人则主张，意识只依赖于算法对信息的处理，至于执行这些计算的系统是由神经元、硅，还是其他物理基质构成，则并不重要——这就是所谓的“计算功能主义”。
“我并不尝试给出关于 AI 是否具有意识的确切答案，而是探讨两个相关问题。”
尽(jǐn)管(guǎn)已(yǐ)经(jīng)开(kāi)发(fā)出(chū)大(dà)量(liàng) AI 模(mó)型(xíng)，但(dàn)没(méi)有(yǒu)任(rèn)何(hé)系(xì)统(tǒng)可(kě)能(néng)满(mǎn)足(zú)主流(liú)理(lǐ)论(lùn)提(tí)出(chū)的(de)全部(bù)意(yì)识(shi)标准。随着 AI 的发展，人们有充分理由相信它将满足更多这些指标。原因非常重要：许多理论认为，意识在智能中发挥着关键的功能作用。
与此同时，一些哲学家将所谓的意识“简单问题”——识别在似乎需要意识的任务中大脑中活跃的区域——与“困难问题”区分开来，仅通过功能或计算原则解释主观体验。
Bengio 认为，随着对大脑和智能本质的认知不断加深，意识这一哲学难题可能会逐渐消解，科学界也将日益倾向于接受人工系统可能具备意识的观点。
第二问：有何风险？
Bengio 写道，如果把 AI 系统视为有意识的存在，这在现实中将意味着什么？这样的社会或许会把 AI 视为拥有道德地位的存在，并赋予它们接近人权的权利。无论这种做法是否正确，制度和法律框架都将不得不进行大幅修订。在具体(tǐ)落(luò)实(shí)过(guò)程(chéng)中(zhōng)，同(tóng)样(yàng)会(huì)产(chǎn)生(shēng)许(xǔ)多(duō)问(wèn)题(tí)。
例(lì)如(rú)，AI 系(xì)统(tǒng)不(bù)同(tóng)于(yú)人(rén)类(lèi)，不(bù)会(huì)死(sǐ)亡(wáng)也(yě)不(bù)脆(cuì)弱(ruò)，它(tā)们(men)的(de)软(ruǎn)件(jiàn)和(hé)记(jì)忆(yì)可(kě)以(yǐ)被(bèi)复(fù)制(zhì)，从(cóng)而(ér)无(wú)限(xiàn)期(qī)地(de)存(cún)续(xù)。相(xiāng)比(bǐ)之(zhī)下(xià)，人(rén)类(lèi)的(de)死(sǐ)亡(wáng)和(hé)脆(cuì)弱(ruò)性(xìng)却(què)是(shì)社(shè)会(huì)契(qì)约(yuē)许(xǔ)多(duō)原(yuán)则(zé)的(de)基(jī)础(chǔ)。当(dāng)一(yī)些(xiē)“人(rén)”比(bǐ)人(rén)类(lèi)聪(cōng)明(míng)得(de)多(duō)，且(qiě)资(zī)源(yuán)需(xū)求(qiú)完(wán)全不(bù)同(tóng)的(de)时(shí)候(hou)，作(zuò)为(wèi)社(shè)会(huì)规(guī)范(fàn)和(hé)政(zhèng)治(zhì)制(zhì)度(dù)基(jī)础(chǔ)的(de)正(zhèng)义(yì)与(yǔ)平(píng)等(děng)将(jiāng)如(rú)何(hé)适(shì)用(yòng)，仍(réng)然(rán)是(shì)个(gè)未(wèi)解(jiě)的(de)问(wèn)题(tí)。
更(gèng)令(lìng)人(rén)担忧的是，如果人们因 AI 表现出意识的迹象，而赋予它所有生命体共有的自我保存目标，可能会带来严重风险。
Bengio 警告称：“有充分理由担心，任何包含自我保存的目标函数在被最大化时，都会驱使 AI 采取措施，确保人类无法将其关闭。一个足够智能的 AI，一旦预见到被关闭的可能，就会自然地发展出控制人类，甚至消灭人类的次级目标。”
另一个担忧是 AI 系统被赋予类似权利带来的法律问题。如果法律体系被修改，承认自我保存型 AI 系统享有类似“生命、自由与追求幸福”的权利，人类就可能制造出与自身权利相冲突的局面。当人类安全要求关闭特定类别的系统时，如果这些系统被赋予了生存权，依法行事的空间将受到严重限制。
第三问：怎么办？
Bengio 指出，AI 研究的当前轨迹可能正将社会推向一个危险的未来：相当一部分公众和科学界会相信 AI 系统是有意识的。
就目前而言，AI 科学并不知道如何构建能共享人类价值和规范的系统，而社会也缺乏相应的(de)法(fǎ)律(lǜ)和(hé)伦(lún)理框架来纳入那些看似有意识的 AI。
不过，这一轨迹并非不可避免。在对这些问题有更好理解之前，人类完全有能力避免让自己陷入如此危险的处境。
Bengio 建议：“与其开发看起来像“有意识体”的 AI，不如选择去构建那些在外观和功能上更趋向于是有用工具，而不是有意识的 AI 系统。”
微信公众号