基于自一致模型的视觉强化学习适应
计算机视觉与模式识别
2025-02-17 v1 机器学习
摘要
视觉强化学习智能体通常面临因视觉干扰而在实际应用中出现严重性能下降的问题。现有方法依赖于使用手工制作的增强来微调策略的表示。在本工作中，我们提出了一种自一致模型适应(SCMA)的方法，通过 denoising 模型将杂乱观察传输到干净观察，从而在不修改策略的情况下增强其对各种干扰的鲁棒性。为以无监督方式优化 denoising 模型，我们推导了一个无监督分布匹配目标，并对其最优性进行理论分析。我们进一步提出了一种实际算法，通过使用预训练的 world model 估计干净观察的分布来优化该目标。在多个视觉泛化基准和真实机器人数据上的大量实验表明，SCMA 在各种干扰下有效提升了性能，并表现出更好的样本效率。
引用
@article{arxiv.2502.09923,
title = {Self-Consistent Model-based Adaptation for Visual Reinforcement Learning},
author = {Xinning Zhou and Chengyang Ying and Yao Feng and Hang Su and Jun Zhu},
journal= {arXiv preprint arXiv:2502.09923},
year = {2025}
}