对抗性损失与转移下的无后悔在线强化学习

现有的对抗性马尔可夫决策过程在线学习算法在T轮交互后实现${O}(\sqrt{T})$后悔值，即使损失函数由对手任意选定，前提是转移函数必须固定。这是因为已有研究表明对抗性转移函数使无后悔学习不可能。尽管存在此类不可能性结果，本文中我们开发了能够处理对抗性损失与对抗性转移的算法，其后悔值随对手恶意程度平滑增长。更具体地，我们首先提出一种算法，其享有$\widetilde{{O}}(\sqrt{T} + C^{\textsf{P}})$后悔值，其中$C^{\textsf{P}}$度量转移函数的对抗程度，且至多为${O}(T)$。尽管该算法本身需要已知$C^{\textsf{P}}$，我们进一步开发了黑盒归约方法以消除此要求。此外，我们还表明算法的进一步改进不仅维持相同的后悔界，同时自适应于更易的环境（其中损失以Jin等人[2021]所述的某种随机约束方式生成）并实现$\widetilde{{O}}(U + \sqrt{UC^{\textsf{L}}} + C^{\textsf{P}})$后悔值，其中$U$为某标准间隙依赖系数，$C^{\textsf{L}}$为损失上的腐败量。