部分可观测环境中未来预测能力的实证研究
机器学习
2025-03-11 v2 人工智能
摘要
学习历史上下文的良好表示是部分可观测环境中强化学习（RL）的核心挑战之一。尽管自预测辅助任务已被证明能提高完全观测设置下的性能，但它们在部分可观测性中的作用仍未得到充分探索。在这项实证研究中，我们检验了通过未来预测（即预测下一步观测作为学习历史表示的辅助任务）进行自预测表示学习的有效性，尤其是在具有长期依赖性的环境中。我们检验了这样一个假设：仅靠未来预测就能产生足以实现强大RL性能的表示。为了评估这一点，我们引入了 ，这是一种将表示学习与强化学习显式解耦的方法，并在多个需要长期记忆的基准测试中将此方法与端到端训练进行了比较。我们的发现提供了证据，表明该假设在不同的网络架构中均成立，从而强化了未来预测性能可作为表示质量的可靠指标并有助于提高RL性能的观点。
引用
@article{arxiv.2402.07102,
title = {An Empirical Study on the Power of Future Prediction in Partially Observable Environments},
author = {Jeongyeol Kwon and Liu Yang and Robert Nowak and Josiah Hanna},
journal= {arXiv preprint arXiv:2402.07102},
year = {2025}
}