多任务学习中平均精度与最坏情况精度的平衡
机器学习
2021-10-13 v1 人工智能
计算与语言
摘要
当在大量任务上训练和评估机器学习模型时，不仅需关注平均任务精度——其可能受简单或冗余任务偏置——还需关注最坏情况精度（即精度最低任务上的表现）。本文展示如何运用分布鲁棒优化(DRO)文献中的技术来改善多任务学习中的最坏情况性能。我们强调了直接套用DRO时的若干失效情形，并给出一种改进方法Lookahead-DRO (L-DRO)，缓解了这些问题。L-DRO的核心思想是在训练期间预见任务间的交互，以选择对各任务损失的动态重加权，从而(i)导致最小的最坏情况损失，(ii)在尽可能多的任务上训练。在小型受控合成设定中证明L-DRO有效性后，我们在两个现实基准上评估它：CIFAR-100图像分类数据集的多任务版本，以及一个大规模多语言语言建模实验。我们的实证结果表明，与若干强基线相比，L-DRO以极少计算开销实现了平均与最坏情况精度间更好的权衡。
引用
@article{arxiv.2110.05838,
title = {Balancing Average and Worst-case Accuracy in Multitask Learning},
author = {Paul Michel and Sebastian Ruder and Dani Yogatama},
journal= {arXiv preprint arXiv:2110.05838},
year = {2021}
}
备注
Under review