部分嵌入式智能体中的接线头问题分类

$\textit{嵌入式智能体}$ 并未与其环境显式分离，缺乏清晰的I/O通道。此类智能体能够推理并修改其内部部件，它们有动机走捷径或 $\textit{接线头}$（wirehead）以获得最大奖励。在本文中，我们提供了接线头可能发生方式的分类法，随后给出了易受接线头攻击的智能体的定义。从完全二元论的通用智能体AIXI出发，我们引入了一类部分嵌入式智能体的谱系，并识别出此类智能体可利用的接线头机会，使用GRL仿真平台AIXIjs对结果进行了实验演示。我们将接线头置于更广泛的所有错位问题类中——即智能体的目标与人类设计者的目标相冲突——并推测唯一其他可能的错位类型是规则博弈（specification gaming）。受此分类法启发，我们将易受接线头攻击的智能体定义为选择以不同于无法访问其内部部件的完全二元论智能体的方式行事的嵌入式智能体。