椭圆注意力
机器学习
2024-11-04 v2 人工智能
计算与语言
计算机视觉与模式识别
机器学习
摘要
成对的点积自注意力是变压器取得在语言和视觉等多种应用中卓越性能的关键因素。这种点积自注意力使用欧几里得距离计算输入标记之间的注意力权重，使模型容易出现表示坍缩并对受污染的样本敏感。本文提出使用马哈拉诺距离度量来计算注意力权重，以拉伸在上下文相关性高的方向上的特征空间。具体而言，我们围绕每个查询定义一个超椭圆邻域，以增加位于上下文相关重要方向上标记的注意力权重。我们将这种新颖的注意力类称为椭圆注意力。我们的椭圆注意力提供两种好处：1)减少表示坍缩，2)增强模型的鲁棒性，因为椭圆注意力更关注与上下文相关的信息，而不是仅聚焦于少数少数信息特征。我们在各种实际任务上（包括对象分类、图像分割和语言建模）通过实证演示了椭圆注意力相对于基线点积注意力和最先进的注意力方法的优势，这些方法跨越不同的数据模态。
引用
@article{arxiv.2406.13770,
title = {Elliptical Attention},
author = {Stefan K. Nielsen and Laziz U. Abdullaev and Rachel S. Y. Teo and Tan M. Nguyen},
journal= {arXiv preprint arXiv:2406.13770},
year = {2024}
}
备注
10 pages in the main text. Published at NeurIPS 2024. The code is available at https://github.com/stefvk/Elliptical-Attention