超越输出匹配：用于增强上下文学习的双向对齐
计算与语言
2025-06-03 v3
摘要
大型语言模型 (LLM) 已通过上下文学习 (ICL) 在许多任务上展现出令人印象深刻的少-shot 泛化能力。尽管它们在展示此类涌现能力方面取得了成功，但更大模型的规模和复杂性也导致了前所未有的高计算需求和部署挑战。作为回应，研究人员探索将大型模型的强大能力转移到更高效、更紧凑的模型中，通常是通过将较小（学生）模型的输出与较大（教师）模型的输出进行对齐。现有方法要么在教师模型生成的输出上训练学生模型，要么模仿其 token 级概率分布。然而，这些蒸馏方法很少或根本没有关注输入，而输入在 ICL 中也起着至关重要的作用。基于 ICL 性能对演示示例的选择高度敏感这一发现，我们提出了双向对齐 (BiAlign)，以充分利用模型对 ICL 示例的偏好来提高学生模型的 ICL 能力。具体而言，除了对齐 token 级输出分布外，我们还通过引入一种新颖的排序损失来实现学生模型和教师模型之间输入偏好的对齐。通过广泛的实验和分析，我们证明了 BiAlign 在涉及语言理解、推理和编码的各种任务上始终优于现有基线。
引用
@article{arxiv.2312.17055,
title = {Beyond Output Matching: Bidirectional Alignment for Enhanced In-Context Learning},
author = {Chengwei Qin and Wenhan Xia and Fangkai Jiao and Chen Chen and Yuchen Hu and Bosheng Ding and Ruirui Chen and Shafiq Joty},
journal= {arXiv preprint arXiv:2312.17055},
year = {2025}
}