CroSTAta：面向机器人操作的跨状态转换注意力 Transformer
机器人学
2026-03-10 v2 人工智能
机器学习
摘要
通过监督式学习从演示中获取机器人操作策略，当策略遇到训练期未显式覆盖的执行变体时，仍然具有挑战性。虽然通过注意力机制整合历史上下文可提高鲁棒性，但标准方法在序列中处理所有过去状态，未能明确建模演示可能包含的时序结构，如失败和恢复模式。我们提出一种跨状态转换注意力 Transformer，采用新颖的状态转换注意力 (STA) 机制，基于所学习的状态演化模式来调制标准注意力权重，从而使策略能够根据执行历史更好地适应其行为。我们的 метод将这种结构化注意力与训练期间的时序掩码相结合，其中最近几个时间步的视觉信息被随机移除，以鼓励从历史上下文进行时序推理。在仿真环境中的评估显示，STA consistently 优于标准注意力方法和时序建模方法（如 TCN 和 LSTM 网络），在精确度关键任务上实现了超过 2 倍的改进。源代码和数据可在 https://github.com/iit-DLSLab/croSTAta 获取。
引用
@article{arxiv.2510.00726,
title = {CroSTAta: Cross-State Transition Attention Transformer for Robotic Manipulation},
author = {Giovanni Minelli and Giulio Turrisi and Victor Barasuol and Claudio Semini},
journal= {arXiv preprint arXiv:2510.00726},
year = {2026}
}
备注
Code and data available at https://github.com/iit-DLSLab/croSTAta