面向语言建模的低秩适配器多选学习
机器学习
2026-02-05 v2 人工智能
计算与语言
机器学习
摘要
我们提出 LoRA-MCL，是一种扩展语言模型中下一词预测的方法，旨在推理时解码多样、合理的句子延续。传统语言建模是内在不确定的问题：给定上下文，可能存在多个“未来”同样合理。我们的方法利用多选学习（MCL）和获胜者全选损失，通过低秩适配器高效处理歧义。我们对将 MCL 应用于语言建模提供理论解释，假设数据源自混合分布。我们以马尔可夫链混合为例说明所提方法。随后，我们在视觉字幕、音频字幕和机器翻译实验中表明，该方法在生成输出方面实现高样本性和相关性。我们提供的代码和一个通用软件包，可将 LoRA-MCL 应用于广泛的语言模型。
引用
@article{arxiv.2507.10419,
title = {Multiple Choice Learning of Low-Rank Adapters for Language Modeling},
author = {Victor Letzelter and Hugo Malard and Mathieu Fontaine and Gaël Richard and Slim Essid and Andrei Bursuc and Patrick Pérez},
journal= {arXiv preprint arXiv:2507.10419},
year = {2026}
}