Gull：一种生成式多功能音频编解码器
音频与语音处理
2024-06-10 v2 人工智能
机器学习
声音
信号处理
摘要
我们介绍了Gull，一种生成式多功能音频编解码器。Gull是一个通用的神经音频压缩和解压缩模型，可应用于广泛的任务和应用，如实时通信、音频超分辨率和编解码器语言模型。Gull的关键组件包括：(1) 受音频源分离最新进展启发的子带建模方案实现通用采样率建模，(2) 受传统音频编解码器启发的增益-形状表示，(3) 改进的残差矢量量化模块，(4) 弹性解码器网络，允许在推理时用户定义模型大小和复杂度，(5) 内置音频超分辨率能力，无需增加比特率。我们将Gull与现有传统和神经音频编解码器进行比较，表明Gull在各种采样率、比特率和模型复杂度下，在主观和客观评估指标上都能达到同等或更好的性能。
引用
@article{arxiv.2404.04947,
title = {Gull: A Generative Multifunctional Audio Codec},
author = {Yi Luo and Jianwei Yu and Hangting Chen and Rongzhi Gu and Chao Weng},
journal= {arXiv preprint arXiv:2404.04947},
year = {2024}
}
备注
Demo page: https://yluo42.github.io/Gull/