通过带不可学习基元的显式任务路由缓解多任务学习中的任务干扰
计算机视觉与模式识别
2023-08-07 v1 人工智能
机器学习
摘要
多任务学习（MTL）旨在利用任务间共享信息来学习单一模型以完成多个任务。然而，已有的 MTL 模型已知会受到任务间负干扰的影响。缓解任务干扰的努力集中于损失/梯度平衡，或具有部分任务间重叠的隐式参数划分。本文中，我们提出 ETR-NLP，通过不可学习基元（NLP）与显式任务路由（ETR）的协同组合来缓解任务干扰。我们的核心思想是采用不可学习基元提取一组多样化的任务无关特征，并将其重组为所有任务共有的共享分支以及为每个任务保留的显式任务特定分支。不可学习基元以及将可学习参数显式解耦为共享与任务特定两部分，提供了最小化任务干扰所需的灵活性。我们在图像级分类与像素级密集预测 MTL 问题上评估了 ETR-NLP 网络的功效。实验结果表明，在所有数据集上，ETR-NLP 以更少的可学习参数与相近的 FLOPs 显著优于最先进的基线。代码见 \href{https://github.com/zhichao-lu/etr-nlp-mtl}。
引用
@article{arxiv.2308.02066,
title = {Mitigating Task Interference in Multi-Task Learning via Explicit Task Routing with Non-Learnable Primitives},
author = {Chuntao Ding and Zhichao Lu and Shangguang Wang and Ran Cheng and Vishnu Naresh Boddeti},
journal= {arXiv preprint arXiv:2308.02066},
year = {2023}
}
备注
CVPR 2023