让每个任务获得所需资源——利用结构稀疏实现针对性多任务学习
计算机视觉与模式识别
2024-09-06 v2
摘要
在多任务学习 (MTL) 框架中,每个任务都需要不同的特征表示,从低级到高级属性不等。针对每个任务的特定特征/参数需求尤为重要,尤其是在计算受限的环境中。因此,本工作引入基于结构稀疏的 Layer-Optimized Multi-Task (LOMT) 模型,用于细化 individual tasks 的特征选择,并提升多任务情景中所有任务的性能。结构稀疏或组稀疏系统性地消除平凡通道中的参数,有时最终消除卷积神经网络中的整个层。因此,剩余层为给定任务提供最优特征。在两步方法中,我们随后利用这种稀疏诱导的最优层信息来构建 LOMT 模型,通过将 task-specific 解码器连接到这些战略性识别的层,偏离传统方法在网络末端统一连接解码器的做法。这种量身定制的体系结构在关注基本特征的同时减少冗余。我们在 NYU-v2 和 CelebAMask-HD 数据集上进行了针对多个异构任务的验证。与传统 MTL 模型相比,LOMT 模型在大多数任务组合上的表现均优于,优异的定性和定量结果凸显了在最优层 (或特征) 选择中运用结构稀疏的有效性。
引用
@article{arxiv.2406.03048,
title = {Giving each task what it needs -- leveraging structured sparsity for tailored multi-task learning},
author = {Richa Upadhyay and Ronald Phlypo and Rajkumar Saini and Marcus Liwicki},
journal= {arXiv preprint arXiv:2406.03048},
year = {2024}
}
备注
Accepted at ECCV 2024 workshop - Computational Aspects of Deep Learning