基于强化学习生成辅助任务
机器学习
2025-11-05 v4
摘要
辅助学习（AL）是一种多任务学习形式，通过在主要目标之上训练辅助任务来提升性能。虽然AL在导航、图像分类和自然语言处理等领域已改进了泛化能力，但它往往依赖于人类标注的辅助任务，这些任务需要耗时的设计并且需要专业知识。元学习方法通过学习来生成辅助任务来缓解这一问题，但通常依赖于基于梯度的双层优化，增加了大量的计算和实现开销。我们提出了RL-AUX，一种强化学习（RL）框架，动态创建辅助任务，通过为每个训练示例分配辅助标签来实现，当其选择的标签能提高主要任务性能时，即给予奖励。我们还探索了为辅助损失学习每个示例的权重。在将CIFAR-100按20个超类分组的数据集上，我们的RL方法超越了人类标注的辅助任务，并与一个突出的双层优化基线相当。我们在其他分类数据集上也取得了类似的强大结果。这些结果表明，RL是一种可行的路径，用于生成有效的辅助任务。
引用
@article{arxiv.2510.22940,
title = {Generating Auxiliary Tasks with Reinforcement Learning},
author = {Judah Goldfeder and Matthew So and Hod Lipson},
journal= {arXiv preprint arXiv:2510.22940},
year = {2025}
}