通过正则化虚假相关性改进多任务泛化
机器学习
2022-11-28 v2 人工智能
摘要
多任务学习（MTL）是一种通过知识共享提升泛化性能的强大学习范式。然而，现有研究发现 MTL 有时会损害泛化，尤其当两个任务相关性较低时。损害泛化的一个可能原因是虚假相关性，即某些知识与任务标签并非因果关系而是虚假相关，但模型可能误用它们，从而在相关性变化时失效。在 MTL 设定下，虚假相关性存在若干独特挑战。首先，拥有非因果知识的风险更高，因为共享的 MTL 模型需要编码来自不同任务的所有知识，而对某一任务因果的知识对另一任务可能是虚假的。其次，任务标签之间的混杂因子给 MTL 带来了一种不同类型的虚假相关性。我们从理论上证明，与单任务学习相比，MTL 更容易从其他任务获取非因果知识，从而泛化更差。为解决该问题，我们提出多任务因果表示学习框架，旨在通过解耦的神经模块表示多任务知识，并通过 MTL 特定的不变正则化学习哪些模块与每个任务因果相关。实验表明，在 Multi-MNIST、MovieLens、Taskonomy、CityScape 和 NYUv2 上，该方法通过缓解虚假相关性问题，平均提升 MTL 模型性能 5.5%。
引用
@article{arxiv.2205.09797,
title = {Improving Multi-Task Generalization via Regularizing Spurious Correlation},
author = {Ziniu Hu and Zhe Zhao and Xinyang Yi and Tiansheng Yao and Lichan Hong and Yizhou Sun and Ed H. Chi},
journal= {arXiv preprint arXiv:2205.09797},
year = {2022}
}
备注
Published on NeurIPS 2022