网络上的多任务学习

多任务学习（MTL）范式可追溯到 Caruana（1997）的一篇早期论文，其中提出可利用来自多个任务的数据，以期获得比独立学习每个任务更好的性能。具有冲突目标的多任务学习解决方案需要对目标间的权衡进行建模，这通常超出直接线性组合所能达到的能力。一个理论上严谨且计算高效的策略是寻找不被其他解所支配的解，正如 Pareto 分析中所处理的那样。多任务学习背景下出现的多目标优化问题具有特定特征，并需要专门的方法。对这些特征的分析以及一种新的计算方法的提出构成了本工作的重点。多目标进化算法（MOEAs）可以轻易纳入支配概念，从而纳入 Pareto 分析。MOEAs 的主要缺点是在函数评估方面样本效率低下。这一缺点的关键原因在于大多数进化方法不使用近似目标函数的模型。贝叶斯优化基于代理模型（如高斯过程）采取了截然不同的方法。在本论文中，输入空间中的解被表示为概率分布，封装了函数评估中包含的知识。在由 Wasserstein 距离赋予度量的该概率分布空间中，可以设计一种新算法 MOEA/WST，其中模型不直接作用于目标函数，而是作用于一个中间信息空间，该空间将输入空间中的对象映射为直方图。计算结果表明，MOEA/WST 提供的样本效率与 Pareto 集质量均显著优于标准 MOEA。