基于广义双线性偏好的正则化在线RLHF

我们考虑情境化在线RLHF问题，其中目标是识别纳什均衡。我们采用广义双线性偏好模型（GBPM）来捕捉可能的非传递偏好，通过低秩、反对称矩阵实现。我们研究针对任意强凸正则化器和正则化强度$\eta^{-1}$的通用偏好学习，超越仅限于逆KL正则化的先前工作。我们的分析核心是证明贪心策略的对偶间隙仅受估计误差平方的界限，这一结果仅基于强凸性和GBPM的反对称性得出。基于此洞见和特征多样性假设，我们通过两种简单算法建立两个 regret 上界：(1) 贪心抽样实现多对数级、$e^{\mathcal{O}(\eta)}$-free regret $\tilde{\mathcal{O}}(\eta d^4 (\log T)^2)$。(2) Explore-Then-Commit实现$\mathrm{poly}(d)$-free regret $\tilde{\mathcal{O}}(\sqrt{\eta r T})$，通过低秩结构实现；这是高维度下在线RLHF的第一个统计有效保证。