基于因子化张量网络的参数高效多任务与多领域学习
机器学习
2026-02-03 v2 计算机视觉与模式识别
摘要
多任务与多领域学习方法旨在使用单一统一网络联合或依次学习多个任务/领域。主要挑战与机遇在于利用这些任务与领域间的共享信息以提升统一网络的效率。效率可体现为准确率、存储开销、计算量或样本复杂度。本文引入一种因子化张量网络（FTN），旨在达到与独立单任务或单领域网络相当的准确率，同时引入极少量额外参数。FTN 方法将任务或领域特定的低秩张量因子纳入源自源模型的共享冻结网络。该策略可在不遭遇灾难性遗忘的情况下适配众多目标领域与任务。此外，与现有方法相比，FTN 所需的任务特定参数数量显著更少。我们在广泛使用的多领域与多任务数据集上开展实验，展示了基于卷积架构（不同骨干网络）及基于 transformer 架构上的实验结果。我们的发现表明，FTN 在每任务仅使用极少额外参数的情况下达到了与单任务或单领域方法相近的准确率。代码可在 https://doi.org/10.24433/CO.7519211.v2 获取。
引用
@article{arxiv.2310.06124,
title = {Parameter-efficient Multi-Task and Multi-Domain Learning using Factorized Tensor Networks},
author = {Yash Garg and Nebiyou Yismaw and Rakib Hyder and Ashley Prater-Bennette and M. Salman Asif},
journal= {arXiv preprint arXiv:2310.06124},
year = {2026}
}