accommodating 挑剔客户：多目标强化学习的后悔界与探索复杂度

本文考虑以偏好平衡多目标的多目标强化学习。实践中，偏好常以对抗方式给出，例如在许多应用中客户可能很挑剔。我们将此问题形式化为马尔可夫决策过程上的 episodic 学习问题，其中转移未知且奖励函数为偏好向量与预先指定的多目标奖励函数的内积。我们考虑两种设定。在在线设定中，智能体每轮收到一个（对抗的）偏好并提出策略与环境交互。我们提供一种基于模型的算法，达到近乎极小极大最优的后悔界 $\widetilde{\mathcal{O}}\bigl(\sqrt{\min\{d,S\}\cdot H^2 SAK}\bigr)$，其中 $d$ 为目标数，$S$ 为状态数，$A$ 为动作数，$H$ 为 horizon 长度，$K$ 为轮数。此外，我们考虑无偏好探索，即智能体先在不指定任何偏好的情况下与环境交互，之后能够以 $\epsilon$ 误差容纳任意偏好向量。我们提出的算法可证高效，具有近乎最优的轨迹复杂度 $\widetilde{\mathcal{O}}\bigl({\min\{d,S\}\cdot H^3 SA}/{\epsilon^2}\bigr)$。该结果部分解决了 \citet{jin2020reward} 提出的一个开放问题。