InfoCon: 基于生成性和判别性信息量的概念发现

我们专注于自我监督的操控概念发现，这些概念可以适应和重组以解决各种机器人任务。我们提出，决定是否将物理过程概念化不应取决于我们如何命名它（语义），而应取决于其表示中关于低级物理状态和状态变化的信息量重要性。我们将操控概念（离散符号）建模为生成性和判别性目标，并推导出能够自主地将它们与来自噪声、未标注演示的有意义子轨迹联系起来的度量。具体来说，我们采用一个可训练码本，其中包含能够根据当前状态合成子轨迹结束状态的编码（概念）（生成性信息量）。此外，对应于特定子轨迹的编码应区分该子轨迹内部和外部的状态，并基于其判别性分数的梯度自信地预测后续动作（判别性信息量）。这些不依赖人工标注的度量可以无缝集成到VQ-VAE框架中，从而将演示划分为语义一致的子轨迹，实现发现操控概念和相应子目标（关键）状态的目的。我们通过训练利用这些概念作为指导的策略来评估所学概念的有效性，展示了优于其他基线的性能。此外，我们发现的操控概念与人工标注的概念相比具有优势，同时节省了大量人工工作。