可控动态多任务架构
计算机视觉与模式识别
2022-03-29 v1 机器学习
摘要
多任务学习常遇到任务间资源竞争的问题,尤其在模型容量有限时。这一挑战促使人们研究能够在推理时控制任务相对重要性与总计算开销的模型。在本工作中,我们提出这样一种可控多任务网络,它动态调整其架构与权重,以匹配期望的任务偏好以及资源约束。与现有仅在固定架构内调整权重的动态多任务方法不同,我们的方法具有动态控制总计算成本并更好地匹配用户偏好任务重要性的灵活性。我们提出对两个超网络(hypernetwork)进行解耦训练,通过利用任务亲和性以及一种新颖的分支正则化损失,接收偏好输入并相应预测具有适配权重的树状结构模型。在三个多任务基准,即PASCAL-Context、NYU-v2和CIFAR-100上的实验表明了我们的方法的有效性。项目页面位于 https://www.nec-labs.com/~mas/DYMU。
引用
@article{arxiv.2203.14949,
title = {Controllable Dynamic Multi-Task Architectures},
author = {Dripta S. Raychaudhuri and Yumin Suh and Samuel Schulter and Xiang Yu and Masoud Faraki and Amit K. Roy-Chowdhury and Manmohan Chandraker},
journal= {arXiv preprint arXiv:2203.14949},
year = {2022}
}
备注
Accepted at CVPR 2022