多任务学习效率的鲁棒分析：基于轻量级骨干网络的新基准与通过特征解耦有效衡量多任务学习挑战
计算机视觉与模式识别
2024-04-18 v2
摘要
多任务学习（MTL）的主要动机之一是开发能够同时推断多个任务的神经网络。尽管过去十年中提出了无数方法，研究鲁棒的模型架构和高效的训练算法，但对于这些方法在较小的特征提取骨干网络上的应用、用特征级梯度替代参数级梯度的常用快速近似技术的泛化能力，以及对MTL挑战的全面理解及如何高效且有效地识别这些挑战，仍缺乏认识。本文聚焦于现有MTL方法的上述效率方面。我们首先在较小的骨干网络上和MetaGraspNet数据集上进行了大规模实验，以此作为新的测试平台。我们还比较了使用和不使用快速梯度替代的现有方法，并实证研究了该技术的泛化能力。最后，我们提出了特征解耦度量（Feature Disentanglement measure）作为一种新颖且高效的MTL挑战识别器，并提出了排序相似性分数作为不同识别器的评估指标，以证明我们方法的忠实性。
引用
@article{arxiv.2402.03557,
title = {Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement},
author = {Dayou Mao and Yuhao Chen and Yifan Wu and Maximilian Gilles and Alexander Wong},
journal= {arXiv preprint arXiv:2402.03557},
year = {2024}
}