面向稀疏深度多任务学习的多目标优化
机器学习
2024-03-27 v4 人工智能
最优化与控制
摘要
在不同的深度学习场景中自然会出现不同的冲突优化准则。这些准则可指向不同的主任务（即多任务学习设定下），也可指向主任务与辅助任务，如损失最小化与稀疏性。通常的做法是对准则进行简单加权，这在形式上仅适用于凸设定。本文中，我们提出一种多目标优化算法，采用改进的加权 Chebyshev 标量化，以针对多个任务训练深度神经网络 (DNNs)。通过采用该标量化技术，算法可识别原问题的所有最优解，同时将其复杂度降为一系列单目标问题。随后使用增广拉格朗日法求解简化问题，从而能够使用 Adam 和随机梯度下降等流行优化技术，并有效处理约束。我们的工作旨在解决 DNN 模型（尤其是深度多任务模型，通常为在多个任务上均表现良好而设计海量权重）的（经济及生态）可持续性问题。通过在两个机器学习数据集上的实验，我们展示了若在网络权重上施加任务特定适配，则可在训练期间自适应稀疏化模型而不显著影响其性能。代码见于 https://github.com/salomonhotegni/MDMTN
引用
@article{arxiv.2308.12243,
title = {Multi-Objective Optimization for Sparse Deep Multi-Task Learning},
author = {S. S. Hotegni and M. Berkemeier and S. Peitz},
journal= {arXiv preprint arXiv:2308.12243},
year = {2024}
}
备注
12 pages, 7 figures