TaskExpert：基于记忆混合专家动态组装多任务表征
计算机视觉与模式识别
2023-07-31 v1
摘要
同时为多个不同任务学习有判别力的任务特定特征是多任务学习中的一个基本问题。近期最先进的模型考虑直接从共享的任务通用特征（例如骨干网络层的特征）解码任务特定特征，并利用精心设计的译码器生成多任务特征。然而，由于输入特征被完全共享，且每个任务译码器对不同输入样本也共享译码参数，这导致静态的特征译码过程，产生判别力较弱的任务特定表征。为应对这一局限，我们提出 TaskExpert，一种新颖的多任务混合专家（mixture-of-experts）模型，能够学习多个具代表性的任务通用特征空间并以动态方式译码任务特定特征。具体而言，TaskExpert 引入一组专家网络将骨干网络特征分解为若干具代表性的任务通用特征。随后，通过使用作用于已分解任务通用特征上的动态任务特定门控网络来译码任务特定特征。此外，为建立 TaskExpert 不同层的任务特定表征的长程建模，我们设计了一种多任务特征记忆，其在每一层更新并作为额外的特征专家用于动态任务特定特征译码。大量实验表明，我们的 TaskExpert 在用于视觉场景理解的两个竞争性多任务学习基准（即 PASCAL-Context 和 NYUD-v2）的全部 9 项指标上明显优于以往性能最佳的方法。代码和模型将公开于 https://github.com/prismformore/Multi-Task-Transformer。
引用
@article{arxiv.2307.15324,
title = {TaskExpert: Dynamically Assembling Multi-Task Representations with Memorial Mixture-of-Experts},
author = {Hanrong Ye and Dan Xu},
journal= {arXiv preprint arXiv:2307.15324},
year = {2023}
}
备注
Accepted by ICCV 2023