利用共形预测从稀疏人类反馈中学习机器人安全性
机器人学
2025-01-10 v1 最优化与控制
应用统计
摘要
确保机器人安全性具有挑战性；用户定义的约束可能会遗漏边缘情况，即使从安全数据中训练得到的策略也可能变得不安全，而且安全性可能是主观的。因此，我们通过向人类展示策略轨迹并让其标记不安全行为来学习机器人安全性。基于这种二元反馈，我们使用共形预测的统计方法来确定一个状态区域（可能位于学习到的潜在空间中），该区域保证包含用户指定比例的未来策略误差。我们的方法具有样本高效性，因为它基于最近邻分类，并避免了共形预测中常见的保留数据的做法。通过在机器人进入疑似不安全区域时发出警报，我们获得了一个模仿人类安全偏好且保证漏报率的警告系统。通过视频标记，我们的系统能够检测四旋翼视觉运动策略何时无法穿过指定门。我们提出了一种通过避免疑似不安全区域来改进策略的方法。借此我们提升了模型预测控制器的安全性，这在涉及 6 个导航任务的 30 次四旋翼飞行的实验测试中得到了验证。提供了代码和视频。
引用
@article{arxiv.2501.04823,
title = {Learning Robot Safety from Sparse Human Feedback using Conformal Prediction},
author = {Aaron O. Feldman and Joseph A. Vincent and Maximilian Adang and Jun En Low and Mac Schwager},
journal= {arXiv preprint arXiv:2501.04823},
year = {2025}
}