跨模态知识蒸馏用于语音大语言模型
计算与语言
2025-09-19 v1 人工智能
摘要
在本工作中，我们首次系统评估了语音大语言模型中的灾难性遗忘和模态不平等，发现引入语音能力即使输入保持文本形式，也会降低知识和推理能力，进一步以口语查询形式呈现时性能力下降。为此，我们提出一种跨模态知识蒸馏框架，利用文本到文本和语音到文本通道，从基于文本的教师模型向语音LLM传递知识。大量实验在对话和音频理解任务上验证了该方法在保持文本知识、改善跨模态对齐和增强语音交互推理方面的有效性。
引用
@article{arxiv.2509.14930,
title = {Cross-Modal Knowledge Distillation for Speech Large Language Models},
author = {Enzhi Wang and Qicheng Li and Zhiyuan Tang and Yuhang Jia},
journal= {arXiv preprint arXiv:2509.14930},
year = {2025}
}