事实记忆机制在文本与语音模态中的迁移性研究：基于多模态语言模型的分析
计算与语言
2026-05-22 v1
摘要
近年来，针对能够联合表示语音和书面文本的语音语言模型（Speech Language Model, SLM）已有多个模型提出。随后涌现出关于这些模型在两种模态下内部机制相似性与差异性的问题。我们聚焦于这些系统如何编码、存储和检索事实知识，这一问题此前仅在文本单一模型中被探讨。为考察SLM中事实关联存储与检索机制的内在机制，本文借鉴了此前用于文本模型的因果中介分析（Causal Mediation Analysis）技术。利用整合离散语音标记的多模态模型SpiritLM，初步结果显示文本到文本与语音到文本的结果存在差异，暗示事实记忆的涌现机制在仅部分地从文本模态传递到语音模态。这些结果推进了我们对SLM内部机制如何编码事实关联的理解，同时为改进语音交互式AI系统提供了启示。
引用
@article{arxiv.2605.22170,
title = {Do Factual Recall Mechanisms Carry over from Text to Speech in Multimodal Language Models?},
author = {Luca Modica and Filip Landin and Mehrdad Farahani and Livia Qian and Gabriel Skantze and Richard Johansson},
journal= {arXiv preprint arXiv:2605.22170},
year = {2026}
}
备注
In *SEM 2026, the 15th Joint Conference on Lexical and Computational Semantics