中文

面向安全感知推理的人机红队作战

机器人学 2025-08-05 v1 人工智能

摘要

尽管大量研究探索提高机器人能力,但关于机器人在高风险领域中安全执行任务的方式仍存不足,尤其是机器人在人类环境中操作时。机器人必须赢得人类操作员的信任,才能在安全关键任务中成为有效的协作者。我们提出人机红队作战范式,以实现安全感知推理。我们期望人类和机器人协作,挑战环境假设,探索可能出现的风险空间。这一探索将使机器人能够进行安全感知推理,包括风险识别、风险评估、风险缓解和安全报告。我们证明了:(a)人机红队作战使人机团队能够在多种领域安全规划任务;(b)不同机体的机器人能够在两个不同环境中学习安全操作——月球栖息地和住宅环境——其中安全定义各不相同。总体而言,我们的人机红队作战工作为在安全关键问题域中安全操作和促进信任提供了可行性。

关键词

引用

@article{arxiv.2508.01129,
  title  = {Human-Robot Red Teaming for Safety-Aware Reasoning},
  author = {Emily Sheetz and Emma Zemler and Misha Savchenko and Connor Rainen and Erik Holum and Jodi Graf and Andrew Albright and Shaun Azimi and Benjamin Kuipers},
  journal= {arXiv preprint arXiv:2508.01129},
  year   = {2025}
}

备注

8 pages, 6 figures