通过工具目标轨迹缓解高级 AI 系统控制丧失

人工智能实验室和大学的研究人员担忧，高度 capable 的人工智能（AI）系统可能通过追求工具目标而侵蚀人类控制。现有的缓解措施仍主要是技术性和系统导向的：跟踪高级系统的 capability、通过如强化学习从人类反馈中形塑行为，以及设计系统具有可纠错性和可中断性。本文我们发展了工具目标轨迹（instrumental goal trajectories），以将这些选项扩展到模型之外。获得 capability 通常取决于对额外技术资源的访问，如计算、存储、数据和相邻服务，这些资源反过来需要获取货币资源。在组织中，这些资源可以通过三种组织路径获得。我们将这些路径称为采购、治理和财务工具目标轨迹（procurement、governance 和 finance instrumental goal trajectories, IGTs）。每个 IGT 都会产生一系列组织性 artefacts，这些 artefacts 可以被监控和用作当系统的 capability 或行为超出可接受阈值时进行干预的点。通过这种方式，IGTs 提供了定义 capability 水平和扩展如何实施可纠错性和可中断性的具体途径，将注意力从模型属性本身转向导致这些属性的组织系统。