基于神经奇点核视角的NTKMTL：缓解多任务学习中的任务不平衡
机器学习
2025-10-22 v1 人工智能
摘要
多任务学习（MTL）使单个模型能够同时学习多个任务，利用任务间知识迁移以获得更好的泛化，并已在多个领域广泛应用。然而，任务不平衡是MTL中的主要挑战。虽然平衡不同任务的收敛速度是有效的解决方法，但在复杂的MTL系统中准确刻画多个任务的训练动力学和收敛速度极具挑战性。为此，我们尝试通过神经奇点核（NTK）理论分析MTL中的训练动力学，提出一种新的MTL方法NTKMTL。具体而言，我们为MTL引入扩展的NTK矩阵，并采用谱分析来平衡多个任务的收敛速度，从而缓解任务不平衡。基于共享表示的近似，我们进一步提出NTKMTL-SR，在保持竞争性能的同时实现训练效率。大量实验表明，我们的方法在广泛的基准测试中实现了最先进的性能，包括多任务监督学习和多任务强化学习。源代码已公开：https://github.com/jianke0604/NTKMTL。
引用
@article{arxiv.2510.18258,
title = {NTKMTL: Mitigating Task Imbalance in Multi-Task Learning from Neural Tangent Kernel Perspective},
author = {Xiaohan Qin and Xiaoxing Wang and Ning Liao and Junchi Yan},
journal= {arXiv preprint arXiv:2510.18258},
year = {2025}
}