EquAct: 用于开环机器人操作的 SE(3) 等变多任务 Transformer
机器人学
2025-05-28 v1
摘要
Transformer 架构能够通过联合处理自然语言指令与 3D 观测，从演示中有效学习语言条件下的多任务 3D 开环操作策略。然而，尽管机器人策略与语言指令均固有地编码了丰富的 3D 几何结构，标准 Transformer 缺乏几何一致性的内置保证，在场景的 SE(3) 变换下常导致不可预测的行为。本文利用 SE(3) 等变性作为策略与语言共享的关键结构特性，提出了 EquAct——一种新颖的 SE(3) 等变多任务 Transformer。EquAct 在理论上被保证具有 SE(3) 等变性，并包含两个关键组件：(1) 一种高效的、基于点云并带有球面 Fourier 特征的 SE(3) 等变 U-net，用于策略推理；(2) SE(3) 不变的特征级线性调制 (iFiLM) 层，用于语言条件化。为评估其空间泛化能力，我们在带有 SE(3) 与 SE(2) 场景扰动的 18 项 RLBench 仿真任务及 4 项物理任务上对 EquAct 进行了基准测试。EquAct 在这些仿真与物理任务上均达到了 SOTA 表现。
引用
@article{arxiv.2505.21351,
title = {EquAct: An SE(3)-Equivariant Multi-Task Transformer for Open-Loop Robotic Manipulation},
author = {Xupeng Zhu and Yu Qi and Yizhe Zhu and Robin Walters and Robert Platt},
journal= {arXiv preprint arXiv:2505.21351},
year = {2025}
}