自预测何时有帮助？理解强化学习中的辅助任务
机器学习
2024-06-26 v1
摘要
我们研究了辅助学习任务（如观测重建和潜在自预测）对强化学习中表示学习问题的影响。我们还研究了它们如何与MDP中的干扰和观测函数相互作用。我们在线性模型假设下，对存在干扰和观测函数时的观测重建、潜在自预测和TD学习的学习动态进行了理论分析。通过这种形式化，我们能够解释为什么潜在自预测是一个有用的辅助任务，而观测重建在单独使用时可以提供更有用的特征。我们的实证分析表明，从我们的学习动态框架中获得的见解能够预测这些损失函数在非线性神经网络中超出线性模型假设的行为。这强化了线性模型框架不仅对理论分析有用，而且对应用问题也有实际益处。
引用
@article{arxiv.2406.17718,
title = {When does Self-Prediction help? Understanding Auxiliary Tasks in Reinforcement Learning},
author = {Claas Voelcker and Tyler Kastner and Igor Gilitschenski and Amir-massoud Farahmand},
journal= {arXiv preprint arXiv:2406.17718},
year = {2024}
}