Bitune: 利用双向注意力改进解码器-only LLM
计算与语言
2025-08-29 v2
摘要
解码器-only 大型语言模型通常仅依赖掩码因果注意力，这限制了其表达力，通过限制信息流向单一方向。我们提出 Bitune 方法，通过纳入双向注意力来增强预训练的解码器-only LLM 的提示处理能力。在指令调优和问答设置中评估 Bitune，显示在常识推理、算术和语言理解任务上性能显著提升。此外，广泛的消融研究验证了方法各组件的作用，并表明 Bitune 与各种参数高效微调技术以及完整模型微调兼容。
引用
@article{arxiv.2405.14862,
title = {Bitune: Leveraging Bidirectional Attention to Improve Decoder-Only LLMs},
author = {Dawid J. Kopiczko and Tijmen Blankevoort and Yuki M. Asano},
journal= {arXiv preprint arXiv:2405.14862},
year = {2025}
}