Conformer 编码器可能反转时间维度
音频与语音处理
2025-01-16 v2 声音
机器学习
摘要
我们有时会观察到基于 Conformer 的全局注意力编码器-解码器 (AED) 模型中交叉注意力权重呈单调递减。进一步调查显示，Conformer 编码器在时间维度上反转了序列。我们分析了解码器交叉注意力机制的初始行为，发现它鼓励 Conformer 编码器自注意力在初始帧与所有其他信息帧之间建立连接。此外，我们表明，在训练的某个阶段，Conformer 的自注意力模块主导于前导的前馈模块，从而仅允许反转信息通过。我们提出了如何避免这种翻转的方法和思想，并研究了一种新方法，通过标签对数概率相对于编码器输入帧的梯度来获取标签帧位置对齐。
关键词
引用
@article{arxiv.2410.00680,
title = {The Conformer Encoder May Reverse the Time Dimension},
author = {Robin Schmitt and Albert Zeyer and Mohammad Zeineldeen and Ralf Schlüter and Hermann Ney},
journal= {arXiv preprint arXiv:2410.00680},
year = {2025}
}
备注
Accepted at ICASSP 2025