通过自动融合训练模型实现高效多任务建模
机器学习
2025-04-15 v1 人工智能
摘要
尽管多任务学习在智能服务中得到广泛应用，传统的多任务建模方法通常需要基于特定任务组合进行定制设计，导致建模过程繁琐。受单任务模型快速发展和卓越性能的启发，本文提出了一种高效多任务建模方法，可自动融合具有不同结构和任务的训练单任务模型以形成多任务模型。作为一种通用框架，此方法允许模型构建者仅准备所需任务的训练模型，即可简化建模过程，同时充分利用训练模型中包含的知识。这消除了对过多关注任务关系和模型结构设计的需求。为实现此目标，我们考虑了各种训练模型之间的结构差异，并采用模型分解技术将其层次化分解为多个可操作的模型组件。此外，我们设计了一个基于Transformer的自适应知识融合（Adaptive Knowledge Fusion, AKF）模块，根据模型组件自适应地整合任务内和任务间知识。通过提出的方法，我们实现了多任务模型的高效自动构建，其有效性通过在三个数据集上的大量实验得到验证。
关键词
引用
@article{arxiv.2504.09812,
title = {Efficient Multi-Task Modeling through Automated Fusion of Trained Models},
author = {Jingxuan Zhou and Weidong Bao and Ji Wang and Zhengyi Zhong and Dayu Zhang},
journal= {arXiv preprint arXiv:2504.09812},
year = {2025}
}