一种基于统一表示与行为蒸馏的形态-任务泛化系统

自然语言与视觉领域通用大规模模型的兴起，使我们期待海量数据驱动的方法能在连续控制等其他领域实现更广泛的泛化。本工作中，我们探索了一种学习方法，通过蒸馏大量熟练行为数据，来学习单一策略以操控多种形态的智能体解决多种任务。为在保留本质三维几何关系的同时对齐多任务与多样智能体形态间的输入输出（IO）接口，我们引入了形态-任务图，将观测、动作与目标/任务统一于图表示中。我们还开发了 MxT-Bench 用于快速大规模行为生成，其支持以最小蓝图与硬件加速模拟器程序化生成多样的形态-任务组合。通过在 MxT-Bench 上高效的表示与架构选择，我们发现形态-任务图表示结合 Transformer 架构相较其他基线（包括近期的离散 token 化方法）提升了多任务性能，并为下游多任务模仿学习中的零样本迁移或样本效率提供了更好的先验知识。我们的工作表明，大规模多样化离线数据集、统一 IO 表示，以及通过监督学习进行的策略表示与架构选择，构成了研究和推进形态-任务泛化的有前景的途径。