通过解缠 neural audio codec 表示的声学遥传
音频与语音处理
2025-10-16 v1
摘要
本文提出了一种通过在神经音频编解码表示中解缠语音内容与声学环境特征来实现声学遥传的方法。声学遥传在保持内容和说话人身份的前提下，将房间特征从一段语音记录转移到另一段语音记录。我们基于前作的 EnCodec 架构，实现了显著的客观质量提升，采用非侵入式 ScoreQ 指标评估得分为 3.03，较先前方法的 2.44 高出显著。我们的训练策略包含五个任务：干净重建、混响重建、去混响以及两种声学遥传变体。我们演示了对声学嵌入进行时间下采样会显著降低性能，甚至 2 倍下采样都会导致质量统计上显著下降。所学得的声学嵌入与 RT60 之间呈现强相关性。通过 t-SNE 聚类分析显示，有效实现了解缠，声学嵌入按房间聚类，语音嵌入按说话人聚类。
引用
@article{arxiv.2510.13221,
title = {Acoustic Teleportation via Disentangled Neural Audio Codec Representations},
author = {Philipp Grundhuber and Mhd Modar Halimeh and Emanuël A. P. Habets},
journal= {arXiv preprint arXiv:2510.13221},
year = {2025}
}