基于语言无关层跳过的多语言对比解码
计算与语言
2024-07-16 v1
摘要
对抗层解码(DoLa)旨在通过对抗早期退出输出(业余logits)和最终输出(专家logits)之间的预测概率来提高大型语言模型(LLM)的生成质量。然而，我们发现该方法在非英语任务上效果不佳。深入分析语言在模型前向传播期间的转换，发现问题源于早期退出输出和最终输出之间的语言不匹配。在本工作中，我们提出了一种有效的改进对抗解码算法，适用于超越英语的多种语言。为了获得更有帮助的业余logits，我们基于初步分析，设计了两种跳过一组底层语言无关层的策略。实验结果在多语言推理基准测试中表明，我们提出的方法在以前的对抗解码基线方法上 outperform，并在11种语言中显著提高了LLM的链式思维推理准确率。该项目将在https://github.com/NJUNLP/SkipLayerCD 上可用。
引用
@article{arxiv.2407.10795,
title = {Multilingual Contrastive Decoding via Language-Agnostic Layers Skipping},
author = {Wenhao Zhu and Sizhe Liu and Shujian Huang and Shuaijie She and Chris Wendler and Jiajun Chen},
journal= {arXiv preprint arXiv:2407.10795},
year = {2024}
}