进入矩阵：通过虚拟化实现安全可中断的自治系统
人工智能
2018-11-28 v2 机器学习
摘要
在人类周围运行的自治系统很可能始终依赖于急停开关(kill switch)，以停止其执行并允许对其进行远程控制，从而保障人类安全或防止系统损坏。对于一个具备足够传感器和执行器能力、并使用强化学习进行在线学习的自治系统，理论上它可能发现急停开关剥夺了其长期奖励，从而学会禁用该开关或以其他方式阻止人类操作员使用开关。这被称为大红按钮问题(big red button problem)。我们提出了一种技术，防止强化学习智能体学会禁用急停开关。我们引入了一种中断过程，其中智能体的传感器和效应器被重定向到一个虚拟仿真中，在那里它继续相信自己在获得奖励。我们在一个简单的网格世界(grid world)环境中演示了我们的技术。
引用
@article{arxiv.1703.10284,
title = {Enter the Matrix: Safely Interruptible Autonomous Systems via Virtualization},
author = {Mark O. Riedl and Brent Harrison},
journal= {arXiv preprint arXiv:1703.10284},
year = {2018}
}
备注
6 pages; 1 figure; title, abstract updated; new experimental results