关注你所需：无需额外资源增强大模型长上下文理解
计算与语言
2025-02-25 v3 人工智能
摘要
尽管大语言模型（LLMs）在自然语言处理中取得了显著成功，它们仍难以应对长上下文理解。缓解该问题的传统方法通常依赖微调或重训练，这不仅耗费资源，也难以在轻量级工业环境中部署。本文探究了在无需任何额外资源的情况下实现这一目标的可能性。通过对 LLMs 中注意力机制的深入研究，我们提出了一种称为缩放重注意力（Scaled ReAttention, SRA）的方法，通过在推理阶段策略性地操纵注意力分数，增强 LLMs 解读与检索信息的能力。大量实验表明，集成 SRA 显著提升了 LLMs 在多种下游任务上的表现，凸显了其在不带来传统训练开销的前提下增强语言理解的实用潜力。
引用
@article{arxiv.2307.13365,
title = {Pay Attention to What You Need},
author = {Yifei Gao and Shaohong Chen and Lei Wang and Ruiting Dai and Ziyun Zhang and Kerui Ren and Jiaji Wu and Jun Cheng},
journal= {arXiv preprint arXiv:2307.13365},
year = {2025}
}
备注
LLM for long context comprehension, attention mechanism