多语言学习中数据集不平衡情况下的顺序重要性
计算与语言
2023-12-12 v1 机器学习
摘要
本文实证研究了多任务学习的优化动态，特别关注那些控制具有显著数据不平衡的任务集合的动态。我们提出了一种简单而有效的方法：在高资源任务上进行预训练，然后在高/低资源任务的混合上进行微调。我们对该方法的好处进行了彻底的实证研究和分析，表明相对于标准静态加权的性能权衡曲线，它取得了持续的改进。我们分析了该方法适用的数据范围，并在神经机器翻译（NMT）和多语言语言建模中实证展示了其改进。
引用
@article{arxiv.2312.06134,
title = {Order Matters in the Presence of Dataset Imbalance for Multilingual Learning},
author = {Dami Choi and Derrick Xin and Hamid Dadkhahi and Justin Gilmer and Ankush Garg and Orhan Firat and Chih-Kuan Yeh and Andrew M. Dai and Behrooz Ghorbani},
journal= {arXiv preprint arXiv:2312.06134},
year = {2023}
}