Smoothie-Qwen：通过后处理平滑降低多语言 LLM 中的语言偏差
计算与语言
2025-07-09 v1
摘要
多语言大语言模型(LLMs)常常表现出语言混淆现象,即无论提示语使用何种语言,都倾向于以某种主导语言生成回复。为解决这一问题,我们提出了 Smoothie-Qwen,一种轻量级的后处理方法,无需重新训练即可缓解语言偏差。该技术选择性地调整 token 级的输出概率,从而有效抑制非期望语言的生成。在 Qwen 模型上的应用表明,我们的方法在不损失多语言基准任务准确率的前提下,将非预期的中文输出减少了超过 95%。本工作为提升 LLM 的语言可控性提供了一种实用且高效的解决方案,使其在全球应用中更加可靠。
引用
@article{arxiv.2507.05686,
title = {Smoothie-Qwen: Post-Hoc Smoothing to Reduce Language Bias in Multilingual LLMs},
author = {SeungWon Ji and Jungyup Lee and Jemin Kim and Sang Park and SeungJae Lee},
journal= {arXiv preprint arXiv:2507.05686},
year = {2025}
}