基于交替方向乘子法优化多任务学习的评估指标
机器学习
2022-10-13 v1
摘要
多任务学习（MTL）旨在通过利用多个任务间的共享因素来提升它们的泛化性能。各种指标（如 F-score、ROC 曲线下面积）被用于评估 MTL 方法的性能。现有大多数 MTL 方法试图最小化分类的误分类误差或回归的均方误差。本文提出一种针对一大类 MTL 问题直接优化评估指标的方法。直接优化评估指标的 MTL 公式由两部分组成：（1）在所有任务上的权重矩阵上定义的正则化项，以捕捉这些任务的相关性；（2）多个结构化铰链损失之和，每个对应于某一任务上某评估指标的替代函数。该公式在优化上具有挑战性，因为其两部分均非光滑。为解决此问题，我们提出一种基于交替方向乘子法的新优化流程，将整体优化问题分解为对应于正则化项的一个子问题和对应于结构化铰链损失的另一个子问题。对于一大类 MTL 问题，第一个子问题具有闭式解。为求解第二个子问题，我们通过坐标上升提出一种高效的原始对偶算法。大量评估结果表明，在一大类 MTL 问题中，所提出的直接优化评估指标的 MTL 方法相较相应基线方法具有更优的性能提升。
引用
@article{arxiv.2210.05935,
title = {Optimizing Evaluation Metrics for Multi-Task Learning via the Alternating Direction Method of Multipliers},
author = {Ge-Yang Ke and Yan Pan and Jian Yin and Chang-Qin Huang},
journal= {arXiv preprint arXiv:2210.05935},
year = {2022}
}