潜在激活编辑：用于更安全多机器人导航的推理时策略优化
机器人学
2025-09-26 v1
摘要
强化学习已在诸如协调和导航多个四旋翼机等复杂领域取得显著进展。然而，即使是经过充分训练的策略在充满障碍的环境中仍然容易发生碰撞。通过重新训练或微调来解决这些不频繁但关键的安全故障代价高昂，且风险降低已学习技能。灵感来自大型语言模型中的激活引导和计算机视觉中的潜在编辑，我们引入了一个框架，用于推理时的潜在激活编辑（LAE），在不修改权重或架构的情况下优化预训练策略的行为。该框架包含两个阶段：（i）在线分类器监控中间激活以检测与不希望的行为相关的状态，（ii）激活编辑模块选择性地修改标记激活，将策略引向更安全的区域。本文聚焦于改进多四旋翼机导航中的安全性。我们假设，通过放大策略内部对风险的感知可以诱导更安全的行为。我们通过训练一个潜在碰撞世界模型来预测未来碰撞前的激活，从而促使更早、更谨慎的规避响应。广泛的仿真和实际的Crazyflie实验表明，LAE实现了显著减少碰撞（与未编辑基线相比，累计碰撞数几乎减少90%），并大幅提高无碰撞轨迹的比例，同时保持任务完成。更广泛地说，我们的结果确立了LAE作为轻量级范式的有效性，可在资源受限的硬件上用于后部署的机器人策略优化。
引用
@article{arxiv.2509.20623,
title = {Latent Activation Editing: Inference-Time Refinement of Learned Policies for Safer Multirobot Navigation},
author = {Satyajeet Das and Darren Chiu and Zhehui Huang and Lars Lindemann and Gaurav S. Sukhatme},
journal= {arXiv preprint arXiv:2509.20623},
year = {2025}
}