Transformer中的广义概率注意力机制
声音
2024-10-22 v1 音频与语音处理
摘要
Transformer架构因其核心注意力机制而广泛采用，取得了显著成功。尽管如此，Transformer的注意力机制仍与两个著名问题相关联：秩坍缩和梯度消失。在本文中，我们提出了对常规注意力机制的理论分析，指出同时解决这两个问题在常规注意力机制中本质上难以实现。为处理这些问题，我们引入一种新的注意力机制类，称为广义概率注意力机制（generalized probabilistic attention mechanism, GPAM），并在Transformer架构中实现其双注意力版本。不同于常规注意力机制，GPAM允许负注意力得分，同时保持固定总和。我们提供理论证据表明，提出的双注意力GPAM（daGPAM）有效缓解了常规注意力机制难以同时解决的秩坍缩和梯度消失问题。此外，我们经验性地验证了这一理论证据，证明daGPAM在解决相同问题的其他备选注意力机制之上具有优势。我们还在自然语言处理任务中展示了GPAM的实际益处，包括语言建模和神经机器翻译。
关键词
引用
@article{arxiv.2410.15577,
title = {ALDAS: Audio-Linguistic Data Augmentation for Spoofed Audio Detection},
author = {Zahra Khanjani and Christine Mallinson and James Foulds and Vandana P Janeja},
journal= {arXiv preprint arXiv:2410.15577},
year = {2024}
}