用于量化并最大化多任务学习中知识迁移的梯度协调
信息检索
2023-03-13 v1 机器学习
摘要
多任务学习（MTL）已广泛应用于在线广告与推荐系统。为解决负迁移问题，近期研究提出了彻底关注梯度方向或量级对齐的优化方法。然而，由于先前研究已证明在有限的共享容量中同时存在通用与特定知识，过度强调梯度对齐可能挤占任务特定知识，反之亦然。本文提出一种由迁移驱动的方法 CoGrad，通过协调梯度修正自适应地最大化知识迁移。我们显式地将迁移量化为从一个任务到另一个任务的损失减少，并由此导出优化它的辅助梯度。我们将该梯度融入原始任务梯度中进行优化，使模型自动最大化任务间迁移并最小化各自损失。因此，CoGrad 能调和通用与特定知识以提升整体性能。此外，我们引入 Hessian 矩阵的高效近似，使 CoGrad 计算高效且易于实现。离线与在线实验均验证 CoGrad 显著优于先前方法。
引用
@article{arxiv.2303.05847,
title = {Gradient Coordination for Quantifying and Maximizing Knowledge Transference in Multi-Task Learning},
author = {Xuanhua Yang and Jianxin Zhao and Shaoguo Liu and Liang Wang and Bo Zheng},
journal= {arXiv preprint arXiv:2303.05847},
year = {2023}
}
备注
5 pages, 3 figures