面向黄金情境的 Zoom 注意力的高效 OpAmp 适配
计算与语言
2025-02-19 v1
摘要
大型语言模型 (LLM) 在问答 (QA) 任务中展现出巨大潜力,尤其在检索增强生成 (RAG) 场景和长上下文应用中。然而,其性能受噪声参考文档的干扰,这些文档常使人们难以聚焦于关键信息。尽管经过微调,基于 Transformer 的架构仍难以优先考虑相关内容。这一点体现在它们倾向于过度分配注意力到无关或后置文档上。最近的工作提出差分注意力机制以解决此问题,但该机制受限于不合适的共模消除比率 (CMRR) 和高计算成本。受运算放大器 (OpAmp) 启发,我们提出 OpAmp 适配以解决上述挑战,其通过适配器高效实现。通过将适配器集成到预训练 Transformer 块中,我们的 approach 提升了对黄金情境的关注,无需从零进行高成本训练。在噪声上下文基准测试上的经验评估显示,我们的 Qwen2.5-OpAmp-72B 模型在训练 OpAmp 适配后,超越了 DeepSeek-V3 和 GPT-4o 等最先进 LLM 的性能。
引用
@article{arxiv.2502.12502,
title = {Efficient OpAmp Adaptation for Zoom Attention to Golden Contexts},
author = {Haoyuan Wu and Rui Ming and Haisheng Zheng and Zhuolun He and Bei Yu},
journal= {arXiv preprint arXiv:2502.12502},
year = {2025}
}