用于评估 AGI 的人工开放世界：一种概念设计

如何评估通用人工智能（AGI）是一个被长期讨论却未解决的问题。在窄人工智能研究中，这似乎不是严重问题，因为该领域研究者聚焦于某些特定问题及认知的一个或某些方面，且评估标准被明确定义。相比之下，AGI 智能体应解决智能体与开发者都从未遭遇过的问题。然而，一旦开发者用某问题测试并调试智能体，该从未遭遇的问题便成为已遭遇问题；结果，该问题在某种程度上是由开发者利用其经验而非智能体解决的。这一冲突，我们称之为开发者经验陷阱，导致此类问题很可能难以成为公认准则。本文提出一种名为人工开放世界的评估方法，旨在跳出该陷阱。其直觉是：实际世界中的多数经验不应被要求应用于人工世界，且世界在某种意义上是开放的，使得开发者在测试前无法感知世界并自行解决问题，尽管测试后允许其查看所有数据。该世界以类似于实际世界的方式生成，并提出问题的通用形式。提出一种旨在量化研究进展的度量。本文描述人工开放世界的概念设计，其形式化与实现留待未来。