AC-DiT：适应性协调扩散变换器用于移动操作

最近，移动操作因实现语言条件化机器人控制在家庭任务中而受到越来越多的关注。然而，现有方法仍面临两个主要挑战：一方面，未能显式建模移动基座对操作控制的影响，容易在高自由度下导致误差累积；另一方面，统一采用相同视觉观察模态（如全部为2D或全部为3D），忽略了移动操作不同阶段的多模态感知需求。为此，我们提出了适应性协调扩散变换器（AC-DiT），增强移动基座和操作臂的协调，实现端到端的移动操作。首先，由于移动基座的运动直接影响操作臂的动作，我们引入一种运动到身体条件机制，引导模型首先提取基座运动表征，再用作预测整体动作的上下文先验。这实现了考虑移动基座运动潜在影响的整体控制。其次，为满足移动操作不同阶段的感知需求，我们设计了感知感知的多模态条件策略，动态调整各种2D视觉图像和3D点云之间的融合权重，生成针对当前感知需求的视觉特征。这使模型能够在语义信息对动作预测至关重要时更依赖2D输入，而在需要精确空间理解时更强调3D几何信息。我们在仿真和真实世界的移动操作任务上对AC-DiT进行了广泛实验验证。