神经编解码器能泛化吗？一项跨未见语言与非语音任务的对照研究
声音
2026-01-21 v1 人工智能
音频与语音处理
摘要
本文研究了神经音频编解码器（NAC）泛化能力中三个关键但尚未被充分探索的方面：（i）NAC在预训练期间能否泛化到未见语言；（ii）仅用语音预训练的NAC能否有效泛化到非语音应用，如环境声音、音乐和动物鸣叫声；（iii）在预训练期间引入非语音数据能否提升其在语音和非语音任务上的性能。现有研究通常依赖现成的NAC进行比较，这因实现方式的差异而限制了洞察力。在这项工作中，我们使用严格控制的配置和精心整理的预训练数据从头训练NAC，以实现公平比较。我们使用11个指标，对NAC在信号重建质量和下游应用方面的性能进行了全面评估。我们的结果表明，NAC在预训练期间可以泛化到未见过的语言；仅用语音预训练的NAC在非语音任务上表现出性能下降；而在预训练期间引入非语音数据能提升非语音任务的性能，同时保持语音任务上的性能相当。
引用
@article{arxiv.2601.12205,
title = {Do Neural Codecs Generalize? A Controlled Study Across Unseen Languages and Non-Speech Tasks},
author = {Shih-Heng Wang and Jiatong Shi and Jinchuan Tian and Haibin Wu and Shinji Watanabe},
journal= {arXiv preprint arXiv:2601.12205},
year = {2026}
}