如何感知世界：在多模态感知中利用层次结构构建鲁棒的强化学习智能体
机器学习
2022-02-01 v2 人工智能
摘要
本工作解决感知世界的问题：如何学习强化学习智能体环境的多模态表示，使其能在不完整的感知条件下执行任务。针对该问题，我们主张在表示模型设计中引入层次结构，并提出一种新颖的多模态表示模型 MUSE。所提模型学习层次化表示：由原始观测数据编码得到的低层模态特定表示，以及编码联合模态信息以实现鲁棒状态估计的高层多模态表示。我们将 MUSE 用作在 Atari 游戏中接受多模态观测的深度强化学习智能体的感知表示模型。我们对不同设计的强化学习智能体进行了比较研究，表明 MUSE 能使智能体在不完整感知体验下以最小性能损失执行任务。最后，我们在具有更多数量与更复杂模态的文献标准多模态场景中评估 MUSE 的性能，显示其在单模态与跨模态生成方面优于最先进的多模态变分自编码器。
引用
@article{arxiv.2110.03608,
title = {How to Sense the World: Leveraging Hierarchy in Multimodal Perception for Robust Reinforcement Learning Agents},
author = {Miguel Vasco and Hang Yin and Francisco S. Melo and Ana Paiva},
journal= {arXiv preprint arXiv:2110.03608},
year = {2022}
}
备注
Accepted at the International Conference on Autonomous Agents and MultiAgent Systems (AAMAS) 2022