FlexiAST：AST所需的灵活性
声音
2023-07-19 v1 机器学习
音频与语音处理
摘要
本工作的目标是为音频谱图Transformer（Audio Spectrogram Transformers, AST）提供块大小灵活性。AST近期的进展已在多种基于音频的任务中展现出优越性能。然而，标准AST在使用与训练时不同的块大小进行评估时，性能会急剧下降。因此，AST模型通常需要重新训练以适应块大小的变化。为克服此限制，本文提出了一种训练流程，在不改变架构的情况下为标准AST模型提供灵活性，使其能在推理阶段使用多种块大小——FlexiAST。该训练方法简单地利用了随机块大小选择以及对块和位置嵌入权重的调整大小。我们的实验表明，FlexiAST在音频分类任务的不同数据集上，于各种块大小下均保持与标准AST模型相近的性能及其评估能力。
引用
@article{arxiv.2307.09286,
title = {FlexiAST: Flexibility is What AST Needs},
author = {Jiu Feng and Mehmet Hamza Erol and Joon Son Chung and Arda Senocak},
journal= {arXiv preprint arXiv:2307.09286},
year = {2023}
}
备注
Interspeech 2023