面向脱离语境新闻检测的多 MLLM 知识蒸馏
计算与语言
2025-05-29 v1 多媒体
摘要
多模态脱离语境新闻是一种错误信息形式，其图像被用于原始语境之外。许多现有工作利用多模态大语言模型（MLLM）来检测脱离语境新闻。然而，观察到较小 MLLM 的零样本性能有限，它们通常需要富含标签的微调和/或昂贵的 GPT 模型 API 调用来提升性能，这在低资源场景中是不切实际的。相比之下，我们旨在以更具标签效率和成本效益的方式提升小型 MLLM 的性能。为此，我们首先提示多个教师 MLLM 生成标签预测及其相应理由，这些共同构成了教师的知识。随后，我们引入了一个两阶段知识蒸馏框架，将此知识转移至学生 MLLM。在阶段 1，我们使用所有训练数据对学生模型应用 LoRA 微调。在阶段 2，我们在教师预测存在冲突的数据点上，结合 LoRA 微调和 DPO 对学生模型进行进一步微调。这种两阶段策略降低了标注成本，并帮助学生在更具挑战性的案例中发现细微的模式。实验结果表明，我们的方法使用不到 10% 的标注数据即实现了 SOTA 性能。
引用
@article{arxiv.2505.22517,
title = {Multi-MLLM Knowledge Distillation for Out-of-Context News Detection},
author = {Yimeng Gu and Zhao Tong and Ignacio Castro and Shu Wu and Gareth Tyson},
journal= {arXiv preprint arXiv:2505.22517},
year = {2025}
}