超级智能安全：一种需求工程的视角

在“AI安全”这一标题下，一个影响广泛的问题正在被讨论，即未来某些“超人类人工智能”/“超级智能”是否可能对人类构成威胁。此外，已故的史蒂芬·霍金曾警告，机器人的崛起可能对人类是灾难性的。一个主要的担忧是，即使是善意超人类人工智能（AI），如果其给定目标与我们自己的目标并非完全一致，或者如果我们无法精确指定其目标函数，也可能变得极具危害性。在隐喻上，这被比作希腊神话中的弥达斯王，他许愿自己所触之物皆变为金，但显然这一愿望未被足够精确地指定。在我们看来，这听起来像是需求问题及其精确表述的挑战。（据我们所知，这一点尚未被指出。）正如需求工程（RE）中常见的情况，歧义或不完整性可能引发问题。此外，整体问题呼唤一项重大的需求工程努力，以厘清针对超级智能的愿望与需求，在我们看来，该超级智能极有可能是一个基于AI的、非常复杂的软件密集型系统。这甚至可能需要在理论上定义一个扩展的需求问题。