EC^2：面向具身控制的涌现通信

具身控制要求智能体利用多模态预训练快速学习如何在新环境中行动，其中视频演示包含低级感知与控制所需的视觉与运动细节，而语言指令借助抽象符号结构支持泛化。尽管近期方法应用对比学习来强制对齐两种模态，我们假设更好地建模其互补差异可带来更整体的表征以利于下游适配。为此，我们提出面向具身控制的涌现通信（Emergent Communication for Embodied Control, EC^2），一种为少样本具身控制预训练视频-语言表征的新方案。其核心思想是通过涌现通信学习视频的无监督“语言”，从而桥接视频细节的语义与自然语言的结构。我们利用语言模型学习视频轨迹、涌现语言和自然语言的具身表征，随后将其用于微调轻量级策略网络以进行下游控制。通过在 Metaworld 和 Franka Kitchen 具身基准上的大量实验，EC^2 被证明在以视频和文本作为任务输入时均持续优于以往的对比学习方法。进一步的消融实验证实了涌现语言的重要性，它有益于视频与语言学习，且显著优于使用预训练视频字幕。我们还对涌现语言进行了定量与定性分析，并讨论了在具身任务中更好理解与利用涌现通信的未来方向。