主动多任务学习在基于人类反馈的强化学习中的强大能力
机器学习
2025-03-06 v2
摘要
基于人类反馈的强化学习（RLHF）已为大型语言模型的性能提升贡献了显著效果。为解决其对大量人类标注数据依赖的问题，一种成功的方法是多任务表示学习，即从广泛的源任务中学习高质量、低维表示。本文将RLHF建模为情境对抗性偏乐问题，并假设存在共同的线性表示。我们展示，通过考虑任务相关性并对源任务分配不同样本数，可显著降低多任务RLHF中源任务的样本复杂度。我们进一步提出了一种算法，通过少量额外数据估计任务相关性，然后学习策略。我们证明，为获得最优解，源任务的样本复杂度可显著降低，远高于均匀抽样。此外，由于表示学习，目标任务的样本复杂度仅为潜在空间维度的线性因子。
关键词
引用
@article{arxiv.2405.11226,
title = {The Power of Active Multi-Task Learning in Reinforcement Learning from Human Feedback},
author = {Ruitao Chen and Liwei Wang},
journal= {arXiv preprint arXiv:2405.11226},
year = {2025}
}