小塔大有不同：欠参数化自辅助多任务模型
机器学习
2020-08-14 v1 机器学习
摘要
多任务学习旨在同时解决多个机器学习任务。多任务学习问题的良好解除了满足帕累托最优外，还应具备可泛化性。本文就多任务深度学习模型中因参数化导致的帕累托效率与泛化之间的权衡提供了一些理解视角。作为一个多目标优化问题，需要在受限解空间中处理任务冲突，因而需要足够的参数化；然而，从多任务泛化角度看，过度参数化会削弱共享表征带来的益处，而共享表征有助于较困难或训练样本有限的任务。因此，需要在多任务泛化与多目标优化之间取得精细平衡，以求得效率与泛化之间更好的权衡。为此，我们提出一种用于多任务模型的欠参数化自辅助方法，以兼得二者之长。该方法与任务无关，且可与其他多任务学习算法协同工作。实证结果表明，在各种多任务应用中，欠参数化自辅助的小塔能在提升帕累托效率方面产生重大影响。
引用
@article{arxiv.2008.05808,
title = {Small Towers Make Big Differences},
author = {Yuyan Wang and Zhe Zhao and Bo Dai and Christopher Fifty and Dong Lin and Lichan Hong and Ed H. Chi},
journal= {arXiv preprint arXiv:2008.05808},
year = {2020}
}