AdaShare：为高效深度多任务学习学习共享内容
计算机视觉与模式识别
2020-11-20 v2 机器学习
摘要
多任务学习是计算机视觉中一个开放且具有挑战性的问题。利用深度神经网络进行多任务学习的典型方式要么是通过手工设计的方案共享所有初始层并在任意点分支，要么是通过独立的任务特定网络并附加特征共享/融合机制。与现有方法不同，我们提出了一种称为 AdaShare 的自适应共享方法，其决定在哪些任务之间共享什么，以在考虑资源效率的同时实现最佳识别精度。具体而言，我们的主要思想是通过任务特定的策略来学习共享模式，该策略为多任务网络中给定任务选择性地选择执行哪些层。我们使用标准反向传播将任务特定策略与网络权重联合高效优化。在具有可变任务数量的几个具有挑战性和多样性的基准数据集上的实验很好地证明了我们的方法相对于最先进方法的功效。项目页面：https://cs-people.bu.edu/sunxm/AdaShare/project.html。
引用
@article{arxiv.1911.12423,
title = {AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning},
author = {Ximeng Sun and Rameswar Panda and Rogerio Feris and Kate Saenko},
journal= {arXiv preprint arXiv:1911.12423},
year = {2020}
}
备注
Neurips 2020 camera-ready version