用于多任务学习的注意力任务交互网络
计算机视觉与模式识别
2022-01-27 v1 机器学习
摘要
多任务学习（MTL）近来作为一种学习范式广受关注，其相较于单任务学习可提升各任务性能，同时减少各任务的模型参数量。MTL 网络面临的最大挑战之一在于如何跨任务共享特征。为应对该挑战，我们提出注意力任务交互网络（ATI-Net）。ATI-Net 对每个任务的潜在特征进行知识蒸馏，随后融合特征图以为解码器提供更优的上下文信息。这种将知识蒸馏引入基于注意力的多任务网络的新颖方法，以大致相同的模型参数量优于 MTAN、PAD-Net 等当前最优 MTL 基线。
引用
@article{arxiv.2201.10649,
title = {Attentive Task Interaction Network for Multi-Task Learning},
author = {Dimitrios Sinodinos and Narges Armanfard},
journal= {arXiv preprint arXiv:2201.10649},
year = {2022}
}