线性复杂度注意力替代方法的 BEST-RQ 分析
机器学习
2024-09-05 v1 计算与语言
声音
音频与语音处理
摘要
自监督学习 (SSL) 在各个领域均显示出良好的效果，包括语音处理领域。然而，SSL 计算和内存开销较大。这在一定程度上归因于多头自注意力 (MHSA) 的二次复杂度。近期提出了一些在语音领域中使用的替代方法，但在 SSL 语境下尚未得到 proper 评估。本文我们研究了将 MHSA 替换为近期具有线性复杂度的替代方法的效果，包括 HyperMixing、Fastformer、SummaryMixing 和 Mamba。我们通过考察速度、VRAM 消耗以及在 SSL MP3S 基准上的性能来评估这些方法。结果表明，这些线性替代方法在保持与 MHSA 竞争性能的同时，平均降低约20%至60%的 VRAM 消耗，输入序列长度为20至80秒时，速度提升7%至65%。
引用
@article{arxiv.2409.02596,
title = {An Analysis of Linear Complexity Attention Substitutes with BEST-RQ},
author = {Ryan Whetten and Titouan Parcollet and Adel Moumen and Marco Dinarelli and Yannick Estève},
journal= {arXiv preprint arXiv:2409.02596},
year = {2024}
}
备注
Accepted in the IEEE Soken Language Technology Workshop 2024