偏好条件下的多目标强化学习可控性
机器学习
2026-05-12 v1
摘要
多目标强化学习 (MORL) 允许用户以目标相对重要性的形式表达对结果的偏好，但标准指标无法捕捉偏好变化是否可靠地改变智能体行为的意图方式，称为可控性 (controllability)。因此，偏好条件化的智能体可能在标准 MORL 指标上表现良好，却对偏好输入不敏感。如果无法可靠地评估控制智能体的能力，MORL 提供的用户意图与智能体行为之间的符号接口将被破坏。主流 MORL 指标单独无法衡量偏好条件化智能体的可控性，这就动机了为此目的专门设计的补充指标。我们希望这些结果能激发社区就现有评估协议的讨论，以整合 MORL 中偏好适应进展，以应对更大尺度和更复杂的问题。
引用
@article{arxiv.2605.10585,
title = {Controllability in preference-conditioned multi-objective reinforcement learning},
author = {Pau de las Heras Molins and Beyazit Yalcinkaya and Lasse Peters and David Fridovich-Keil and Georgios Bakirtzis},
journal= {arXiv preprint arXiv:2605.10585},
year = {2026}
}