我们将无法控制超级智能机器

我们对可以控制汽车，撰写交响乐或在下棋，围棋或危险中击败人的机器着迷!虽然人工智能(AI)一直在取得更大的进步，但一些科学家和哲学家警告说，不可控的超级智能AI的危险。使用理论计算，包括马克斯·普朗克人类发展研究所人类与机器中心的科学家在内的国际研究人员团队表明，不可能控制超级智能的AI。

假设有人要编写一个具有比人类更好的智能的AI系统，以便它可以独立学习。AI连接到Internet，可以访问人类的所有数据。它可以替换所有现有程序，并控制全球所有在线机器。这会产生乌托邦或反乌托邦吗?AI会治愈癌症，带来世界和平并预防气候灾难吗?还是会破坏人类并占领地球?

计算机科学家和哲学家问自己，我们是否甚至完全能够控制超级智能的AI，以确保它不会对人类构成威胁。一个国际计算机科学家团队使用理论计算表明，从根本上不可能控制超级智能的AI

“控制世界的超级智能机器听起来像是科幻小说。但是，已经有机器独立执行某些重要任务，而程序员却没有完全了解他们如何学习它。因此，问题就来了，这是否在某些时候可能变得不可控制和危险，研究的合著者，马克斯·普朗克人类发展研究所数字化动员小组负责人Manuel Cebrian说。

科学家们探讨了如何控制超级智能AI的两种不同想法。一方面，可以特别限制超级智能AI的功能，例如，通过将其与Internet和所有其他技术设备隔离开来，使其与外界保持联系，但这将使超级智能AI的功能大大降低，因此无法回答人文课题。如果没有这种选择，人工智能可以从一开始就被激发去追求仅符合人类最大利益的目标，例如通过将道德原则编程进去。但是，研究人员还表明，这些以及其他有关控制超级智能AI的当代和历史思想都有其局限性。

在他们的研究中，该团队构思了一种理论上的遏制算法，该算法可通过首先模拟AI的行为并在认为有害的情况下使其停止，从而确保超级智能的AI在任何情况下均不会伤害他人。但是仔细的分析表明，在我们当前的计算范式中，无法构建这样的算法。

“如果将问题分解为理论计算机科学的基本规则，结果是，一种命令AI不会破坏世界的算法可能会无意中止其自身的操作。如果发生这种情况，您将不知道这种遏制算法是否有效。仍在分析威胁或威胁已经停止遏制有害的AI。实际上，这使得遏制算法无法使用。”人与机器中心主任Iyad Rahwan说。

基于这些计算，遏制问题是无可争议的，即，没有任何一种算法可以找到确定AI是否会对世界造成危害的解决方案。此外，研究人员表明，我们甚至可能都不知道超级智能机器何时到达，因为确定机器是否表现出优于人类的智能与遏制问题处于同一境界。