具有负权重的更具表达力的注意力机制
计算与语言
2025-01-31 v3 人工智能
机器学习
摘要
我们提出了一种新颖的注意力机制，称为 Cog Attention，它允许注意力权重为负以增强表达能力，这源于两个关键因素：(1) Cog Attention 增强了参数灵活性。例如，与使用静态输出-值 (OV) 矩阵来删除或复制所关注输入的传统 softmax 注意力头不同，Cog Attention 自然地学会利用动态查询-键 (QK) 内积的符号来表示这些操作。这使得 Cog Attention 能在单个头内同时执行多种操作。同时，Cog Attention 的 OV 矩阵能更专注于细化或修改。(2) Cog Attention 通过防止早期标记向后期位置的“过度压缩”，增强了模型对表示崩溃的鲁棒性。我们开发了使用 Cog Attention 作为注意力模块的类 Transformer 模型，包括用于语言建模的各种规模的仅解码器模型和用于图像生成的 U-ViT 扩散模型。实验表明，使用 Cog Attention 的模型相比采用传统 softmax 注意力模块的模型表现出更优性能。我们的方法为重新思考和打破传统 softmax 注意力的根深蒂固的约束（如要求非负权重）提出了一个有前景的研究方向。
引用
@article{arxiv.2411.07176,
title = {More Expressive Attention with Negative Weights},
author = {Ang Lv and Ruobing Xie and Shuaipeng Li and Jiayi Liao and Xingwu Sun and Zhanhui Kang and Di Wang and Rui Yan},
journal= {arXiv preprint arXiv:2411.07176},
year = {2025}
}