多任务学习可改善最差群体结果
机器学习
2024-03-01 v2
摘要
为了创建能很好地服务于各类用户的机器学习系统，不仅要实现高平均性能，还要确保不同群体间的公平结果，这一点至关重要。然而，大多数机器学习方法旨在提高模型在选定最终任务上的平均性能，而未考虑其对最差群体误差的影响。多任务学习(MTL)就是这样一种广泛使用的技术。在本文中，我们不仅试图理解MTL对最差群体准确率的影响，还探索其作为解决群体公平性挑战的工具的潜力。我们主要考虑微调预训练模型的标准设置，在此设置下，遵循近期工作，我们将最终任务与由最终任务数据本身构建的预训练目标进行多任务处理。在群体标注很少或没有的情况下，我们发现多任务处理通常（但并非始终）比Just-Train-Twice（JTT；一种代表性的分布鲁棒优化(DRO)方法）取得更好的最差群体准确率。利用合成数据实验的见解，我们提出通过正则化联合多任务表示空间来修改标准MTL。我们在计算机视觉和自然语言处理数据集上进行了大量微调实验，发现我们的正则化MTL方法在平均和最差群体结果上均一致优于JTT。我们的官方代码可在此处找到：https://github.com/atharvajk98/MTL-group-robustness.git。
引用
@article{arxiv.2312.03151,
title = {Multitask Learning Can Improve Worst-Group Outcomes},
author = {Atharva Kulkarni and Lucio Dery and Amrith Setlur and Aditi Raghunathan and Ameet Talwalkar and Graham Neubig},
journal= {arXiv preprint arXiv:2312.03151},
year = {2024}
}
备注
20 pages, 7 tables, 6 Figures