帕累托流形学习：通过单任务模型集成处理多任务
机器学习
2023-06-16 v2
摘要
在多任务学习（MTL）中，任务可能相互竞争并限制彼此所达到的性能，而不是引导优化走向优于所有单任务训练对应方案的解决方案。由于通常不存在对所有任务都最优的唯一解，实践者不得不平衡任务性能之间的权衡，并诉诸帕累托意义下的最优性。大多数MTL方法要么完全忽视这一方面，其优化方案不是旨在学习帕累托前沿，而是产生一个由优化方案预定义的解，要么产生多样但离散的解。近期方法通过神经网络参数化帕累托前沿，导致从权衡空间到目标空间的复杂映射。在本文中，我们猜想帕累托前沿在参数空间中允许线性参数化，这引导我们提出帕累托流形学习，一种权重空间中的集成方法。我们的方法在单次训练运行中产生连续的帕累托前沿，允许在推理时调节每个任务的性能。在从图像分类到表格数据集和场景理解的多任务学习基准上的实验表明，帕累托流形学习优于最先进的单点算法，同时学习出比多点基线更好的帕累托参数化。
引用
@article{arxiv.2210.09759,
title = {Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models},
author = {Nikolaos Dimitriadis and Pascal Frossard and François Fleuret},
journal= {arXiv preprint arXiv:2210.09759},
year = {2023}
}
备注
Accepted ICML 2023