潜在心智理论：一种用于合作操控的去中心化扩散架构

我们提出了潜在心智理论（LatentToM），这是一种用于协作机器人操控的去中心化扩散策略架构。我们的策略允许多个操作器拥有各自的感知和计算能力，能够在无需或需显式通信的情况下共同完成任务目标。我们的关键创新在于允许每个智能体维持两种潜在表示：一种特定于机器人的自我嵌入，以及一种旨在两机器人间保持一致的共识嵌入，尽管两者的传感器流和姿态各不相同。我们进一步让每个机器人训练解码器，从共识嵌入中推断另一机器人自身的嵌入，类似于潜在空间中的心智理论。训练在中心进行，所有策略的共识编码器由以层次理论为灵感的损失函数监督。具体而言，我们引入一阶上 cohomology 损失以强制共识嵌入实现一致的对齐。为保持共识嵌入的表达能力，我们进一步提出基于心智理论和方向性共识机制的结构约束。执行可在完全分布式环境中完成，无需在策略之间进行显式通信。信息通过观察其他机器人动作及其对场景的影响而在传感器流中进行交换。或者，执行可利用直接通信共享机器人的共识嵌入，每一步推理仅共享一次嵌入，并通过上谱拉普拉斯进行对齐。在硬件实验中，LatentToM超越了粗糙的去中心化扩散基线，性能与最先进的集中式扩散策略相当。项目网址：https://stanfordmsl.github.io/LatentToM/。