当前深度学习中的多任务优化方法究竟有用吗
机器学习
2022-09-26 v1 人工智能
摘要
近期研究提出了一系列面向深度多任务模型的专用优化算法。常有人声称这些多任务优化（MTO）方法所得的求解优于仅优化任务损失加权平均值所找到的求解。本文中，我们在多种语言与视觉任务上开展大规模实验，以检验这些声称的经验有效性。我们表明，尽管这些算法增加了设计与计算复杂度，MTO 方法并未产生超越传统优化方法所能达到的任何性能提升。我们强调了能够持续改善性能轮廓的替代策略，并指出可能导致次优结果的常见训练陷阱。最后，我们概述了可靠评估 MTO 算法性能中的挑战并讨论了潜在解决方案。
引用
@article{arxiv.2209.11379,
title = {Do Current Multi-Task Optimization Methods in Deep Learning Even Help?},
author = {Derrick Xin and Behrooz Ghorbani and Ankush Garg and Orhan Firat and Justin Gilmer},
journal= {arXiv preprint arXiv:2209.11379},
year = {2022}
}