rQdia：基于图像增强正规化 Q 值分布
机器学习
2025-06-27 v1 人工智能
摘要
rQdia 通过数据增强正规化 Q 值分布，适用于基于像素的深度强化学习。在简单的辅助损失下，通过均方误差（MSE）等化这些分布，rQdia 在来自像素的 MuJoCo 持续控制套件中的 DrQ 和 SAC 上分别在 9/12 和 10/12 项任务中取得提升，并在 Data-Efficient Rainbow 的 18/26 个 Atari arcade 环境中取得佳绩。这些收益体现在样本效率和长期训练方面。此外，rQdia 的加入最终使基于像素的模型无监督连续控制得以超越基于状态编码的基准。
引用
@article{arxiv.2506.21367,
title = {rQdia: Regularizing Q-Value Distributions With Image Augmentation},
author = {Sam Lerman and Jing Bi},
journal= {arXiv preprint arXiv:2506.21367},
year = {2025}
}