端到端多任务学习用于可调节关节噪声消除与听力损失补偿
音频与语音处理
2026-03-24 v1 声音
摘要
提出一种多任务学习框架，用于优化单个深度神经网络（DNN）以实现联合噪声消除（NR）和听力损失补偿（HLC）。为每个任务定义不同的训练目标，DNN预测两个时频掩码。在推理过程中，可通过对每个掩码指数化后进行加权，从而独立调整NR和HLC的程度。与最近依赖训练听觉模型模拟器以定义可微训练目标的方法不同，我们提出一种内在可微的听觉模型，从而实现端到端优化。将听力ogram作为DNN的输入，从而实现听众个性化定制，无需重新训练。结果表明，所提方法不仅允许独立调整NR和HLC的程度，还优于采用单一训练目标优化的指标。其还优于两个分别训练用于NR和HLC的DNN级联结构，HLC性能也与传统听力助听器处方相当。迄今为止，这是首个利用听觉模型训练单个DNN以实现NR和HLC的研究，覆盖广泛的听众轮廓。
引用
@article{arxiv.2603.20387,
title = {End-to-End Multi-Task Learning for Adjustable Joint Noise Reduction and Hearing Loss Compensation},
author = {Philippe Gonzalez and Vera Margrethe Frederiksen and Torsten Dau and Tobias May},
journal= {arXiv preprint arXiv:2603.20387},
year = {2026}
}