利用多步逆模型保证发现控制内生的潜状态
机器学习
2022-12-29 v2 机器人学
机器学习
摘要
在许多序贯决策任务中，智能体无法对世界的全部复杂性建模，世界由大量相关和无关信息构成。例如，一个沿城市街道行走的人若试图对世界的所有方面建模，很快就会因大量商店、汽车和进出视野的人（各自遵循复杂而难以理解的动态）而不堪重负。是否有可能将智能体源源不断的感官信息转化为既必要又充分的极小潜状态，使其能成功在世界中行动？我们具体地表述了这一问题，并提出了智能体控制内生状态发现算法（AC-State），该算法具有理论保证，并在实践中被证明能发现极小的控制内生潜状态，其包含控制智能体所需的全部信息，同时完全丢弃所有无关信息。该算法由一个多步逆模型（从远距离观测预测动作）与一个信息瓶颈组成。AC-State 无需奖励或演示即可实现定位、探索和导航。我们在三个领域中演示了控制内生潜状态的发现：在干扰下（如光照条件和背景变化）定位机械臂、与其他智能体一起探索迷宫，以及在 Matterport 房屋模拟器中导航。
引用
@article{arxiv.2207.08229,
title = {Guaranteed Discovery of Control-Endogenous Latent States with Multi-Step Inverse Models},
author = {Alex Lamb and Riashat Islam and Yonathan Efroni and Aniket Didolkar and Dipendra Misra and Dylan Foster and Lekan Molu and Rajan Chari and Akshay Krishnamurthy and John Langford},
journal= {arXiv preprint arXiv:2207.08229},
year = {2022}
}
备注
Project Website: https://controllable-latent-state.github.io/