基于局部任务相似性诱导神经元创建与移除的多任务结构学习
机器学习
2023-05-02 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
多任务学习有潜力通过最大化任务间的正迁移并减少任务干扰来改善泛化能力。充分发挥这一潜力受到手动设计且在训练过程中保持静态的架构的阻碍。相反，大脑中的学习是通过与突触强度变化同步的结构变化发生的。因此，我们提出\textit{多任务结构学习（MTSL）}，其同时学习多任务架构及其参数。MTSL从每个任务的相同单任务网络开始，并在任务学习阶段和结构学习阶段之间交替。在任务学习阶段，每个网络专用于相应任务。在每一个结构学习阶段中，从最早层开始，局部相似的任务层首先将其知识迁移到一个新创建的组层，然后被移除。MTSL随后使用该组层替代相应的被移除任务层，并继续处理后续层。我们的实证结果表明，MTSL在各种基线上实现了具有竞争力的泛化能力，并提升了对分布外数据的鲁棒性。
引用
@article{arxiv.2305.00441,
title = {Multi-Task Structural Learning using Local Task Similarity induced Neuron Creation and Removal},
author = {Naresh Kumar Gurulingan and Bahram Zonooz and Elahe Arani},
journal= {arXiv preprint arXiv:2305.00441},
year = {2023}
}
备注
Accepted at 40th International Conference on Machine Learning (ICML)