基于双模拟度量聚类的鲁棒表示学习用于抗干扰视觉强化学习
机器学习
2023-02-27 v2 人工智能
摘要
近期研究表明，从像素进行样本高效的强化学习（RL）时，表示学习起着关键作用。遗憾的是，在真实场景中，表示学习通常对任务无关的干扰（如背景或视角的变动）十分脆弱。为解决该问题，我们提出了一种新颖的基于聚类的方法，即双模拟度量聚类（CBM），其通过在潜在空间中对视觉观测进行分组来学习鲁棒表示。具体而言，CBM 在两步之间交替：（1）通过测量观测与所学原型之间的双模拟距离进行分组；（2）根据当前聚类分配学习一组原型。利用双模拟度量计算聚类分配使 CBM 能够捕获任务相关信息，因为双模拟度量量化了观测之间的行为相似性。此外，CBM 鼓励每组内表示的一致性，这有助于滤除任务无关信息，从而诱导出抗干扰的鲁棒表示。一个吸引人的特性是，即使同时存在多种干扰，CBM 也能实现样本高效的表示学习。实验表明，CBM 显著提升了流行视觉 RL 算法的样本效率，并在多干扰与单干扰设定下均达到了最先进的性能。代码见 https://github.com/MIRALab-USTC/RL-CBM。
引用
@article{arxiv.2302.12003,
title = {Robust Representation Learning by Clustering with Bisimulation Metrics for Visual Reinforcement Learning with Distractions},
author = {Qiyuan Liu and Qi Zhou and Rui Yang and Jie Wang},
journal= {arXiv preprint arXiv:2302.12003},
year = {2023}
}
备注
Accepted to AAAI 2023