FairBranch：缓解公平多任务学习中的偏置迁移
机器学习
2024-09-25 v2 计算机与社会
摘要
当不相关任务通过冲突梯度更新共享参数而相互负面影响时，多任务学习（MTL）的泛化能力会受损。这被称为负迁移，并导致 MTL 精度相对于单任务学习（STL）下降。近来，对 MTL 模型公平性的关注日益增长，要求对各个任务同时优化精度与公平性。类似于精度的负迁移，当联合学习任务间存在公平性损失梯度冲突时，任务特定的公平性考量可能对其他任务的公平性产生不利影响——我们称之为偏置迁移（Bias Transfer）。为同时解决 MTL 中的负迁移与偏置迁移，我们提出一种称为 FairBranch 的新方法，其通过评估所学参数的相似性对 MTL 模型进行分支，从而将相关任务分组以缓解负迁移。此外，它在相邻任务组分支间引入公平性损失梯度冲突校正，以解决这些任务组内的偏置迁移。我们在表格与视觉 MTL 问题上的实验表明，FairBranch 在公平性与精度上均优于最先进的 MTL 方法。
引用
@article{arxiv.2310.13746,
title = {FairBranch: Mitigating Bias Transfer in Fair Multi-task Learning},
author = {Arjun Roy and Christos Koutlis and Symeon Papadopoulos and Eirini Ntoutsi},
journal= {arXiv preprint arXiv:2310.13746},
year = {2024}
}