基于成就率多任务损失的协作多LoRA专家用于统一多模态信息抽取
机器学习
2025-05-13 v1 人工智能
摘要
多模态信息抽取（MIE）因从多媒体来源抽取结构化信息而受到关注。传统方法会单独处理MIE任务，错失跨任务知识共享的机会。最近的做法将这些任务统一为生成问题，使用基于指令的T5模型配合视觉适配器，通过全参数微调进行优化。但该方法计算密集，多任务微调常面临梯度冲突，限制性能。为此，我们提出了一种用于MIE任务的协作多LoRA专家与成就率多任务损失（C-LoRAE）。C-LoRAE扩展了低秩适应（LoRA）方法，融入通用专家以从跨MIE任务中学习共享多模态知识，同时通过任务特定专家学习专业指令任务特征。该配置增强了模型在多个任务上的泛化能力，同时保持各指令任务的独立性，缓解梯度冲突。此外，我们提出了成就率多任务损失，以平衡各任务的训练进度，解决因MIE任务训练样本数量差异导致的不平衡问题。在覆盖三个关键MIE任务的七个基准数据集上的实验表明，C-LoRAE在保持与LoRA相当训练参数数量的同时，优于传统微调方法和LoRA方法，实现卓越的整体性能。
引用
@article{arxiv.2505.06303,
title = {Collaborative Multi-LoRA Experts with Achievement-based Multi-Tasks Loss for Unified Multimodal Information Extraction},
author = {Li Yuan and Yi Cai and Xudong Shen and Qing Li and Qingbao Huang and Zikun Deng and Tao Wang},
journal= {arXiv preprint arXiv:2505.06303},
year = {2025}
}
备注
Accepted by IJCAI 2025