知识解耦协同学习：基于MLLM的少样本多模态对话意图识别协作方法
计算与语言
2025-03-07 v1 人工智能
摘要
少样本多模态对话意图识别是电子商务领域的一个关键挑战。先前的方法主要通过后训练技术来增强模型的分类能力。然而，我们的分析表明，少样本多模态对话意图识别的训练涉及两个相互关联的任务，导致多任务学习中的跷跷板效应。这一现象归因于训练过程中权重矩阵更新的叠加所导致的知识干扰。为了解决这些挑战，我们提出了知识解耦协同学习（KDSL），该方法通过利用较小的模型将知识转化为可解释的规则，同时应用较大模型的后训练，来缓解这些问题。通过促进大、小多模态大语言模型在预测中的协作，我们的方法展现了显著的改进。值得注意的是，我们在两个真实的淘宝数据集上取得了出色的结果，与最先进方法相比，在线加权F1分数分别提升了6.37%和6.28%，从而验证了我们框架的有效性。
引用
@article{arxiv.2503.04201,
title = {Knowledge-Decoupled Synergetic Learning: An MLLM based Collaborative Approach to Few-shot Multimodal Dialogue Intention Recognition},
author = {Bin Chen and Yu Zhang and Hongfei Ye and Ziyi Huang and Hongyang Chen},
journal= {arXiv preprint arXiv:2503.04201},
year = {2025}
}