利用多通道 RVQGAN 压缩高阶 Ambisonics
声音
2024-12-13 v3 机器学习
多媒体
音频与语音处理
摘要
本文提出了 RVQGAN 神经编码方法的多通道扩展，并实现了三阶 Ambisonics 音频的数据驱动压缩。生成器和判别器模型的输入与输出层经过修改，可接受多通道 (16) 输入而不增加模型比特率。我们还提出了一种用于考量沉浸式重放中空间感知的损失函数，以及从单通道模型进行的迁移学习。在 EigenScape 数据库上训练和测试的 7.1.4 沉浸式回放听力测试结果表明，所提扩展适用于编码基于场景的 16 通道 Ambisonics 内容，在 16 kbps 下具有良好的质量。该模型在学习其他类型内容和多通道格式方面具有潜在应用。
引用
@article{arxiv.2411.12008,
title = {Compression of Higher Order Ambisonics with Multichannel RVQGAN},
author = {Toni Hirvonen and Mahmoud Namazi},
journal= {arXiv preprint arXiv:2411.12008},
year = {2024}
}