基于概率环境模型的校准价值感知模型学习
机器学习
2025-06-10 v2
摘要
价值感知模型学习（即模型应产生准确的价值估计）的理念在基于模型的强化学习中日益受到重视。MuZero 损失通过惩罚模型的价值函数预测与真实价值函数之间的差异，已在文献中的多项重要实证工作中得到应用。然而，对其优缺点的理论研究仍然有限。在本文中，我们分析了价值感知模型学习损失族（包括流行的 MuZero 损失）。我们表明，这些损失在常规使用中是未校准的代理损失，这意味着它们并不总能恢复正确的模型和价值函数。基于这一见解，我们提出了解决该问题的校正方法。此外，我们研究了损失校准、潜在模型架构以及训练 MuZero 风格智能体时常用的辅助损失之间的相互作用。我们表明，虽然确定性模型足以预测准确的价值，但学习校准的随机模型仍然是有利的。
引用
@article{arxiv.2505.22772,
title = {Calibrated Value-Aware Model Learning with Probabilistic Environment Models},
author = {Claas Voelcker and Anastasiia Pedan and Arash Ahmadian and Romina Abachi and Igor Gilitschenski and Amir-massoud Farahmand},
journal= {arXiv preprint arXiv:2505.22772},
year = {2025}
}