通过注意力导向指标揭示强化学习智能体的学习过程
机器学习
2025-02-06 v2
摘要
强化学习 (RL) 智能体的学习过程仍在其数学学习算法表述之外的理解困境。为此，我们引入注意力导向指标 (ATOMs) 来调查 RL 智能体训练期间注意力的发展。在一个受控实验中，我们在三个 Pong 游戏变体上测试了 ATOMs，这些变体设计用于教导智能体具有不同行为，配合行为评估。ATOMs 成功描绘了在每个游戏变体上训练的智能体注意力模式，并且这些注意力模式的差异转化为智能体行为的差异。通过持续监控 ATOMs 在训练期间，我们观察到智能体的注意力以阶段发展，这些阶段在游戏变体之间是一致的。总体而言，我们相信 ATOM 有助于改进我们对 RL 智能体学习过程的理解，并更好地理解注意力与学习之间的关系。
引用
@article{arxiv.2406.14324,
title = {Revealing the Learning Process in Reinforcement Learning Agents Through Attention-Oriented Metrics},
author = {Charlotte Beylier and Simon M. Hofmann and Nico Scherf},
journal= {arXiv preprint arXiv:2406.14324},
year = {2025}
}
备注
Workshop on Scientific Methods for Understanding Deep Learning, NeurIPS 2024