哪些经验对强化学习智能体具有影响力？高效估计经验的影响
机器学习
2025-07-22 v3 人工智能
摘要
在强化学习(RL)中使用经验回放时，存储在回放缓冲区中的经验会影响RL智能体的性能。关于这些经验如何影响智能体性能的信息对于各种目的（例如识别 negatively 影响性能不佳的智能体的经验）都是有价值的。估计经验影响力的一种方法是留一法(LOO)。然而，这种方法通常计算上昂贵。本文提出了策略迭代携带Dropout turnover (PIToD)， which efficiently estimates the influence of experiences. 我们评估了PIToD如何正确估计经验的影响以及其相对于LOO的效率。我们 then将PIToD应用于修正性能不佳的RL智能体，即我们使用PIToD来估计 negatively 影响经验并删除这些经验的影响。我们表明，通过PIToD的修正，RL智能体的性能显著提高。
引用
@article{arxiv.2405.14629,
title = {Which Experiences Are Influential for RL Agents? Efficiently Estimating The Influence of Experiences},
author = {Takuya Hiraoka and Guanquan Wang and Takashi Onishi and Yoshimasa Tsuruoka},
journal= {arXiv preprint arXiv:2405.14629},
year = {2025}
}
备注
RLC 2025. Source code: https://github.com/TakuyaHiraoka/Which-Experiences-Are-Influential-for-RL-Agents Poster: https://drive.google.com/file/d/1fqd5UPUNOQniG-CshmdFFPxEG9m7W4hS/view?usp=sharing Slides: https://drive.google.com/file/d/1JjOMvA-oF7bas2OJmO_en6mJAtNGoLjs/view?usp=sharing