“对吗？”——大语言模型是否 exhibits 多模态特征迁移？
计算与语言
2025-01-09 v1
摘要
人类沟通是一种多层次、多模态的技能。沟通需要理解文本内容的表层信息以及沟通意图的隐含意义。在人类中，超越表层理解的学习始于学习口头沟通中的意图。一旦人类在口头沟通中掌握了这些技能，就会将其迁移到书面沟通中。本文评估了以人类间对话为重点的语音+文本模型和文本模型，是否能够进行这种多模态技能的迁移。我们特别测试这些模型检测隐性欺骗性沟通的能力。我们发现，尽管没有特殊提示，语音+文本大语言模型在完成此任务方面优于单模态大语言模型。同样地，我们发现以人类间对话为训练目的的大语言模型在这项技能上也具有优势。
引用
@article{arxiv.2501.04138,
title = {"Yeah Right!" -- Do LLMs Exhibit Multimodal Feature Transfer?},
author = {Benjamin Reichman and Kartik Talamadupula},
journal= {arXiv preprint arXiv:2501.04138},
year = {2025}
}