基于值的多目标强化学习的问题：值函数干扰与过估计敏感性
机器学习
2026-04-23 v2
摘要
多目标强化学习（MORL）算法将传统强化学习（RL）扩展到具有多个冲突目标的更一般问题中，由向量值奖励表示。诸如 Q-learning 等广泛使用的标量 RL 方法可以通过以下方式修改以处理多个目标：(1) 学习向量值值函数，以及 (2) 使用反映用户对不同目标偏好的标量化或排序算子执行动作选择。本文研究了两个此前未报道的问题，它们会在与非线性能函数结合使用时阻碍基于值的 MORL 算法的性能——值函数干扰与对过估计的敏感性。我们使用多目标 Q-learning 的表格实现，在简单的多目标 MDP 上阐明了这些现象的本质。
引用
@article{arxiv.2402.06266,
title = {Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity},
author = {Peter Vamplew and Ethan and Watkins and Cameron Foale and Richard Dazeley},
journal= {arXiv preprint arXiv:2402.06266},
year = {2026}
}
备注
This updates our previous pre-print to add extended discussion of value-function interference as well as new material illustrating the interaction between Q-value overestimation and non-linear utility