LLaVA-NeuMT：用于高效多语言多模态翻译的选择性层-神经元调制
计算与语言
2025-07-28 v1 多媒体
摘要
多模态机器翻译 (MMT) 通过纳入视觉上下文来提高翻译质量，帮助解决文本中的歧义。虽然现有 MMT 方法在双语设置下表现良好，但将其扩展到多语言翻译仍具有挑战，因为存在跨语言干扰且参数共享策略不够有效。为此，我们提出 LLaVA-NeuMT，一种新的多模态多语言翻译框架，显式建模语言特定和语言中性表示，以缓解多语言干扰。我们的方法包括识别不同语言对最有价值层的层选择机制，以及动态选择语言特定和中性神经元的神经元级适应策略，以提高翻译质量并降低冗余度。我们在 M3-Multi30K 和 M3-AmbigCaps 数据集上进行了大量实验，表明 LLaVA-NeuMT 在仅微调 40% 的模型参数情况下，即可超越完全微调的方法，并最终在两个数据集上实现 SOTA 结果。我们的分析进一步提供了关于所选层和神经元在多模态多语言适应性方面重要性的见解，为跨语言多模态翻译提供了一个高效且可扩展的解决方案。
引用
@article{arxiv.2507.18940,
title = {LLaVA-NeuMT: Selective Layer-Neuron Modulation for Efficient Multilingual Multimodal Translation},
author = {Jingxuan Wei and Caijun Jia and Qi Chen and Yujun Cai and Linzhuang Sun and Xiangxiang Zhang and Gaowei Wu and Bihui Yu},
journal= {arXiv preprint arXiv:2507.18940},
year = {2025}
}