ALOPE：基于大语言模型的翻译质量估计自适应层优化

大语言模型（LLMs）在广泛的自然语言处理任务中表现出卓越的性能。机器翻译（MT）的质量估计（QE）在不依赖参考译文的情况下评估源-目标对的质量，对于LLMs而言仍是一项具有挑战性的跨语言任务。挑战源于现有基于LLM的QE系统的固有局限性，这些系统是为因果语言建模而非回归特定任务预训练的，且因预训练数据分布中存在低资源语言而进一步加剧。本文介绍了ALOPE，一个自适应层优化框架，旨在通过逐层自适应重构Transformer表示以改进基于回归的预测，从而增强基于LLM的QE。我们的框架将低秩适配器（LoRA）与回归任务头集成，利用选定的预训练Transformer层来改善跨语言对齐。除层特定自适应外，ALOPE还引入了两种策略——动态加权（自适应地组合来自多个层的表示）和多头回归（聚合来自多个头的回归损失以进行QE）。我们的框架相比各种现有基于LLM的QE方法均有提升。经验证据表明，LLMs中的中间Transformer层提供的上下文表示与QE任务的跨语言特性更为一致。我们公开了所得模型和框架代码以供进一步研究，同时也允许现有基于LLM的MT框架扩展QE能力。