对于超级人工智能的出现，我们是期待的，因为它的出现意味着不少工作可以以高效率的方式来完成。可是，作为一款号称智慧远超最聪明、最有才华的人类的AI，关于它可能带来的灾难性风险的讨论并没有停止脚步。

近期，一群科学家组成的研究团队使用理论计算来证明遏制类算法并不能控制超级人工智能，这个研究主要是为了解决牛津哲学家尼克·博斯特罗姆(Nick Bostrom)提出的控制问题：我们如何确保超级人工智能为我们的利益服务?

根据超级人工智能的假设问题，研究人员构设一种理论上的遏制算法，该算法可以模拟AI的行为，并在AI程序的动作存在有害行为时自动停止程序来解决该问题。

在尝试运行该试验模型时，分析人员通过分析结果，发现建立一种可以控制超级人工智能的机器算法从根本性质上来说是不可能的。

该团队成员伊亚德·拉万(Iyad Rahwan)表示，如果将问题分解为理论计算机科学的基本规则，就会发现，命令AI不破坏世界的遏制算法存在无意中止其自身运行的可能性。

若发生这种情况，用户其实并不知道遏制算法是否仍在分析超级人工智能可能存在的威胁，或者它是否已经顺利停止有害的AI。因此，这种状况的出现会导致遏制算法无法得到有效使用。

根据研究发现，由于计算的基本局限性，目前暂时没有一种算法可以顺利计算出超级AI是否会危害世界。

假设超级人工智能将包含一个程序，该程序包含通用图灵机在输入时可能会像世界级状况一样复杂地执行所有程序，按照这么高的标准建立围堵遏制算法，基于这个基础对该超级AI程序进行仿真，这在理论上是不可能的。

到目前为止，这种类型的超级AI仍仅限于幻想领域，不过，研究人员表示，AI技术的发展正朝着科幻小说作家所设想的超级智能系统的类型迈进。

研究团队里面的成员之一、来自马克斯·普朗克人类发展研究所的曼努埃尔·塞布里安(Manuel Cebrian)表示，已经有AI机器可以实现独立执行某些重要任务，而程序员并没有完全了解它们是如何学习做到的。

因此，基于这个存在而提出一个问题，在某个时候这是否可能变得不可控制并对人类构成危险。

不管如何，发展超级人工智能的趋势并不会按下暂停键，只是，关于遏制超级人工智能的方式还是要保持跟进的，只有类似法律指引人类日常规范一般对超级人工智能形成一个制约，才可以让AI为我们服务，而不是造成灾难。

关键词： 人工智能