探索神经 Foley 合成器的领域特定增强
声音
2023-09-12 v1 音频与语音处理
摘要
Foley 声音合成指为电影或广播等媒体创作真实的剧情内音效。在本研究中，我们构建了一个能够在七个预定义类别中生成单声道音频片段的神经 Foley 合成器。我们的方法对文本到音频领域的现有模型引入了多种增强，旨在丰富生成 foley 的多样性与声学特性。值得注意的是，我们利用了一个在中间嵌入中保留声学与音乐属性的预训练编码器，实现类条件化以增强 foley 类在中间表示中的可区分性，并设计了一种基于 transformer 的创新架构，用于在不损失有价值信息的情况下优化对极大输入的自注意力计算。实现之后，我们展示了超越基线的中间结果，讨论了在取得最优结果过程中遇到的实际挑战，并概述了进一步研究的潜在路径。
引用
@article{arxiv.2309.04641,
title = {Exploring Domain-Specific Enhancements for a Neural Foley Synthesizer},
author = {Ashwin Pillay and Sage Betko and Ari Liloia and Hao Chen and Ankit Shah},
journal= {arXiv preprint arXiv:2309.04641},
year = {2023}
}