机器与人类注意力在深度强化学习任务中的比较
机器学习
2021-11-04 v3 计算机视觉与模式识别
摘要
深度强化学习（RL）算法是解决视觉运动决策任务的强大工具。然而，训练好的模型通常难以解释，因为它们表示为端到端深度神经网络。在本文中，我们通过分析训练模型在任务执行期间所关注的像素，并将其与执行相同任务的人类所关注的像素进行比较，来阐明此类训练模型的内部工作机制。为此，我们研究了以下两个据我们所知此前未被研究过的问题。1）在执行相同任务时，RL智能体与人类学习的视觉表征有多相似？以及，2）这些学习到的表征中的相似与差异如何解释RL智能体在这些任务上的表现？具体而言，我们比较了RL智能体的显著图与人类专家的视觉注意力模型在学习玩Atari游戏时的表现。此外，我们分析了深度RL算法的超参数如何影响训练后智能体的学习表征和显著图。所提供的见解有可能为缩小人类专家与RL智能体之间性能差距的新算法提供信息。
引用
@article{arxiv.2010.15942,
title = {Machine versus Human Attention in Deep Reinforcement Learning Tasks},
author = {Sihang Guo and Ruohan Zhang and Bo Liu and Yifeng Zhu and Mary Hayhoe and Dana Ballard and Peter Stone},
journal= {arXiv preprint arXiv:2010.15942},
year = {2021}
}