看你所看！显著性引导 Q 网络用于视觉强化学习中的泛化
机器学习
2023-02-09 v3 人工智能
计算机视觉与模式识别
摘要
深度强化学习策略尽管在模拟视觉控制任务中效率出众，但在面对训练输入图像的扰动时，其跨分布泛化能力却令人失望。图像统计特性的变化或干扰性背景元素，是阻碍此类控制策略实现泛化与真实世界应用的陷阱。我们基于如下直觉展开研究：优秀的视觉策略应能够识别哪些像素对其决策至关重要，并在不同图像间保持这种对重要信息源的识别。这意味着，训练泛化差距小的策略应聚焦于此类重要像素而忽略其余部分。由此我们提出了显著性引导 Q 网络（SGQN），一种兼容任意值函数学习方法的通用视觉强化学习方法。SGQN 大幅提升了 Soft Actor-Critic 智能体的泛化能力，并在 Deepmind 控制泛化基准上优于现有最优方法，在训练效率、泛化差距与策略可解释性方面树立了新的参照。
引用
@article{arxiv.2209.09203,
title = {Look where you look! Saliency-guided Q-networks for generalization in visual Reinforcement Learning},
author = {David Bertoin and Adil Zouitine and Mehdi Zouitine and Emmanuel Rachelson},
journal= {arXiv preprint arXiv:2209.09203},
year = {2023}
}
备注
Thirty-sixth Conference on Neural Information Processing Systems (NeurIPS 2022), Nov 2022, New Orleans, United States