弹性注意力：用于高效变压器的测试时自适应稀疏比率
计算机视觉与模式识别
2026-01-27 v1
摘要
标准注意力机制的二次复杂度对于大型语言模型（LLM）在长文本场景下的可扩展性构成了显著瓶颈。虽然将稀疏注意力与完整注意力组合的混合注意力策略提供了可行的解决方案，但通常采用固定的计算比率（即稀疏注意力与完整注意力的固定比例），无法在推理期间适应不同下游任务的 varying sparsity sensitivities。为解决此问题，我们提出了弹性注意力（Elastic Attention），允许模型根据输入动态调整其整体稀疏度。这通过将轻量级注意力路由器集成到现有预训练模型中实现，该路由器为每个注意力头动态分配到不同的计算模式。在仅用 12 小时在 8 台 A800 GPU 上的训练后，我们的方法使模型能够实现卓越的性能和高效推理。在广泛使用的 LLM 上进行的三个长文本基准测试实验表明，我们的方法优于现有方法。
引用
@article{arxiv.2601.17366,
title = {UCAD: Uncertainty-guided Contour-aware Displacement for semi-supervised medical image segmentation},
author = {Chengbo Ding and Fenghe Tang and Shaohua Kevin Zhou},
journal= {arXiv preprint arXiv:2601.17366},
year = {2026}
}
备注
Accepted by ISBI 2026