自预测动力学：面向视觉强化学习的泛化
计算机视觉与模式识别
2025-06-09 v1 人工智能
机器学习
摘要
基于视觉的强化学习需要高效且稳健的图像观测表征，尤其是在图像中包含干扰性（与任务无关）元素（如阴影、云层和光线）时。若这些干扰在训练期间未被暴露，问题更为重要。我们设计了自预测动力学（Self-Predictive Dynamics, SPD）方法，以高效提取任务相关特征，即使在训练后出现的未见观测中亦可行。SPD 并行使用弱增强和强增强，并通过预测跨两端增强版本的逆向和前向转换来学习表征。在一组 MuJoCo 视觉控制任务和一个自动驾驶任务（CARLA）中，SPD 在复杂观测下超越了前述研究，并显著提升了对未见观测的泛化性能。我们的代码已公开于 https://github.com/unigary/SPD。
引用
@article{arxiv.2506.05418,
title = {Self-Predictive Dynamics for Generalization of Vision-based Reinforcement Learning},
author = {Kyungsoo Kim and Jeongsoo Ha and Yusung Kim},
journal= {arXiv preprint arXiv:2506.05418},
year = {2025}
}
备注
IJCAI 2022