面向多任务学习的梯度手术

尽管深度学习与深度强化学习（RL）系统在图像分类、游戏博弈与机器人控制等领域已展现出令人印象深刻的成果，数据效率仍是一大挑战。多任务学习已成为一种通过跨多个任务共享结构以实现更高效学习的有前景方法。然而，多任务设定带来若干优化挑战，使得相较独立学习任务难以实现大幅效率提升。为何多任务学习相较单任务学习如此困难尚未被充分理解。本工作中，我们识别出多任务优化地形中导致有害梯度干扰的一组三种条件，并开发了简单而通用的避免任务梯度间此类干扰的方法。我们提出一种梯度手术，将某任务的梯度投影到任一具有冲突梯度的其他任务梯度的法平面上。在一系列具有挑战性的多任务监督与多任务 RL 问题上，该方法带来了效率与性能的实质提升。此外，其为模型无关方法，并可与此前提出的多任务架构结合以增强性能。