用于双耳目标声音提取的耳间时间差损失
声音
2024-08-02 v1 音频与语音处理
摘要
双耳目标声音提取（TSE）旨在从任意声音的双耳混合中提取所需声音，同时保留目标声音的空间线索。确实，对于许多应用，目标声音信号及其空间线索携带着关于声源的重要信息。双耳TSE可以通过神经网络实现，该网络以双耳混合和表征所需声音类别的嵌入作为输入，仅输出所需声音。传统的TSE系统使用信号级损失进行训练，该损失衡量左右通道中提取信号与参考信号之间的差异。在本文中，我们提出添加显式的空间损失以更好地保留目标声音的空间线索。特别是，我们探索了旨在保留耳间声级（ILD）、相位（IPD）和时间差（ITD）的损失。我们通过实验表明，添加此类空间损失，特别是我们新提出的ITD损失，有助于在保持信号级指标的同时更好地保留空间线索。
引用
@article{arxiv.2408.00344,
title = {Interaural time difference loss for binaural target sound extraction},
author = {Carlos Hernandez-Olivan and Marc Delcroix and Tsubasa Ochiai and Naohiro Tawara and Tomohiro Nakatani and Shoko Araki},
journal= {arXiv preprint arXiv:2408.00344},
year = {2024}
}
备注
Accepted in the International Workshop on Acoustic Signal Enhancement (IWAENC 2024)