AMAuT：从头训练的灵活高效多视图音频变换器框架
摘要
近期基础模型（如 SSAST、EAT、HuBERT、Qwen-Audio 和 Audio Flamingo）在标准音频基准上取得了顶级成绩，但受限于固定输入速率和时长，限制了可重用性。本文引入了增强驱动的多视图音频变换器框架（AMAuT），一个从头训练的框架，消除对预训练权重的依赖，同时支持任意采样率和音频长度。AMAuT 集成了四个关键组件：（1）基于增强的数据驱动的多视图学习以提高鲁棒性，（2）conv1 + conv7 + conv1 一维 CNN 瓶颈以实现稳定的时间编码，（3）双 CLS + TAL token 用于双向上下文表示，（4）测试时自适应/增强（TTA^2）以提高推理可靠性。在五个公开基准（AudioMNIST、SpeechCommands V1 & V2、VocalSound 和 CochlScene）上的实验表明，AMAuT 在准确率上可达 99.8%，且仅需相当于类似预训练模型的 3% 以下的 GPU 计算时间。因此，AMAuT 提供了一种高效且灵活的替代方案，使计算受限环境下的先进音频分类技术变得可行。
引用
@article{arxiv.2510.19368,
title = {AMAuT: A Flexible and Efficient Multiview Audio Transformer Framework Trained from Scratch},
author = {Weichuang Shao and Iman Yi Liao and Tomas Henrique Bode Maul and Tissa Chandesa},
journal= {arXiv preprint arXiv:2510.19368},
year = {2025}
}
备注
Updating note: 1. CLS+TAL is the distill token from DeiT rather than the alternative class token. Adjust the content to clarify it. 2. Figure 4 presents an error sequence of figures (a) and (b). 3. Remove an unrelated citation about the VS set. 4. A missing citation in section 4.4 (SSAST [19] here is not a correct citation)