MaxMI：面向操作概念发现的最大互信息准则

我们旨在发现嵌入在未标注演示中的操作概念，这些概念被认为是关键的物理状态。发现的概念有助于训练操作策略并促进泛化。当前依赖多模态基座模型来推导关键状态的方法，由于多模态机器人数据有限，通常缺乏准确性和语义一致性。相比之下，我们引入了一个信息论准则来表征标志一组物理状态的规律性。我们还开发了一个框架，使用该准则训练概念发现网络，从而绕过了对人类语义的依赖并减轻了昂贵的人工标注。所提出的准则基于以下观察：值得概念化的关键状态通常比非关键状态具有更多的物理约束。这种现象可以形式化为最大化假定关键状态与其前一状态之间的互信息，即最大互信息。通过采用最大互信息，训练好的关键状态定位网络可以准确识别具有足够物理意义的状态，展现出与人类感知合理的语义兼容性。此外，与基线相比，所提出的框架产生的关键状态能够引导操作策略在多种机器人任务中获得更高的成功率和更好的泛化能力，验证了所提出准则的有效性。