别让你的机器人有害：基于安全即策略的负责任机器人操作
机器人学
2025-06-03 v2 计算机视觉与模式识别
摘要
在机器人操作中无条件执行人类指令可能导致严重的安全风险，如 中毒、火灾，甚至 爆炸。本文提出了负责任的机器人操作，这要求机器人在完成指令并高效安全地执行复杂操作时，考虑到真实环境中潜在的危险。然而，现实世界中的此类情景变化多且风险高，训练困难。为此，我们提出了 安全即策略 (Safety-as-policy) 方法，包括 (i) 一个世界模型，用于自动生成包含安全风险的情景并进行虚拟交互，以及 (ii) 一个心智模型，用于反思推断后果并逐步发展对 安全 的认知，使机器人在避免危险的同时完成任务。此外，我们创建了 SafeBox 合成数据集，包含 100 个具有不同安全风险情景和指令的负责任机器人操作任务，有效降低了真实实验的风险。实验表明，安全即策略在合成数据集和真实实验中均能有效避免风险并高效完成任务，显著优于基线方法。我们的 SafeBox 数据集在与真实场景一致的评估结果方面表现出色，为未来研究提供了 安全且高效的基准测试。
引用
@article{arxiv.2411.18289,
title = {Don't Let Your Robot be Harmful: Responsible Robotic Manipulation via Safety-as-Policy},
author = {Minheng Ni and Lei Zhang and Zihan Chen and Kaixin Bai and Zhaopeng Chen and Jianwei Zhang and Lei Zhang and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2411.18289},
year = {2025}
}