通过随机选择实现可关闭智能体
人工智能
2026-05-13 v7
摘要
POST-Agents提案（PAP）是一种确保高级人工智能智能体永不抵抗关闭的想法。PAP的一个关键部分是使用一种新颖的“相同长度轨迹的折扣奖励（DReST）”奖励函数来训练智能体：（1）在每种轨迹长度下有效追求目标（成为“有用”），以及（2）在不同轨迹长度之间随机选择（对轨迹长度保持“中立”）。在本文中，我们提出了有用性和中立性的评估指标。我们使用DReST奖励函数训练简单的智能体在网格世界中导航，我们发现这些智能体学会了变得有用和中立。因此，我们的结果提供了一些初步证据，表明DReST奖励函数可以训练高级智能体变得有用和中立。我们的理论工作表明，这些智能体将是有用且可关闭的。
引用
@article{arxiv.2407.00805,
title = {Towards Shutdownable Agents via Stochastic Choice},
author = {Elliott Thornley and Alexander Roman and Christos Ziakas and Leyton Ho and Louis Thomson},
journal= {arXiv preprint arXiv:2407.00805},
year = {2026}
}