面向控制的多视图融合状态表示学习
机器学习
2025-09-23 v4 人工智能
摘要
多视图强化学习（Multi-View Reinforcement Learning, MVRL）旨在为智能体提供多视图观测，从而使其能够更有效、更精确地感知环境。近期的MVRL研究主要聚焦于从多视图观测中提取潜在表示并在控制任务中加以利用。然而，在存在冗余、干扰信息或缺失视图的情况下，学习紧凑且任务相关的表示并不容易。本文提出一种名为Multi-view Fusion State for Control（MFSC）的方法，首先将双聚齐度度量学习引入MVRL，以学习任务相关的表示。进一步，我们设计了一种基于多视图的掩码与潜在重构辅助任务，通过引入掩码令牌（mask token）利用跨视图的共享信息，提高MFSC在缺失视图情况下的鲁棒性。大量实验结果表明，我们的方法在MVRL任务中优于现有方法。即使在存在干扰或缺失视图的更真实场景中，MFSC也能稳定保持高性能。
引用
@article{arxiv.2502.01316,
title = {Learning Fused State Representations for Control from Multi-View Observations},
author = {Zeyu Wang and Yao-Hui Li and Xin Li and Hongyu Zang and Romain Laroche and Riashat Islam},
journal= {arXiv preprint arXiv:2502.01316},
year = {2025}
}