通过减轻信噪比数据不平衡提升基于域适应的语音增强混音过程
声音
2024-06-21 v1 音频与语音处理
摘要
RemixIT 和 Remixed2Remixed 是基于域适应的语音增强（DASE）方法，利用在完全监督条件下训练的教师模型通过混音生成伪配对数据。学生模型则使用无真值数据的伪配对数据来增强真实环境中记录的语音信号。由于噪声信号在自然环境中记录，数据集不可避免地在某些声学特性上存在不平衡，导致对稀疏数据的表现不佳。信噪比（SNR）是监督学习中本构平衡的典型例子。在本文中，我们基于 CHiME-7 UDASE 任务数据集，提供了实证证据表明伪数据的 SNR 对模型性能具有显著影响，凸显了 DASE 中平衡 SNR 的重要性。此外，我们提出采用课程学习涵盖广泛的 SNR 范围，以提升对稀疏数据的性能。
引用
@article{arxiv.2406.13982,
title = {Improved Remixing Process for Domain Adaptation-Based Speech Enhancement by Mitigating Data Imbalance in Signal-to-Noise Ratio},
author = {Li Li and Shogo Seki},
journal= {arXiv preprint arXiv:2406.13982},
year = {2024}
}
备注
Accepted at Interspeech2024