注意力轨迹：深度强化学习的诊断轴
机器学习
2025-12-01 v2
摘要
尽管深度强化学习智能体在多个领域展示了高性能，但仅凭绩效指标评估，其内部决策过程仍难以解释。特别是，智能体依赖哪些输入特征、这些依赖在训练中如何演变，以及如何与行为相关，仍不为人所知。我们引入一种通过对显著性进行定量分析来分析学习过程的科学方法。该方法将显著性信息在对象和模态水平聚合到分层注意力概览中，量化智能体在时间上如何分配注意力，从而形成整个训练期间的注意力轨迹。应用于 Atari 基准、定制 Pong 环境以及肌肉驱动的生物力学用户模拟（用于视觉-运动交互任务），该方法揭示了算法特有的注意力偏差，发现意外的奖励驱动策略，诊断对冗余感官通道的过拟合。这些模式对应可测量的行为差异，表明注意力概览、学习动力学与智能体行为之间存在实证关联。为评估注意力概览的鲁棒性，我们在多个显著性方法和环境中进行了验证。结果表明，注意力轨迹是追踪特征依赖发展、识别对绩效指标不可见的偏差和漏洞的有前景的诊断轴。
引用
@article{arxiv.2511.20591,
title = {Attention Trajectories as a Diagnostic Axis for Deep Reinforcement Learning},
author = {Charlotte Beylier and Hannah Selder and Arthur Fleig and Simon M. Hofmann and Nico Scherf},
journal= {arXiv preprint arXiv:2511.20591},
year = {2025}
}