现实场景中的说话人检索:挑战、有效性与鲁棒性
声音
2025-04-30 v2 信息检索
机器学习
音频与语音处理
摘要
公开可用或公司拥有的音频/视频档案日益增多,凸显了从这些档案中高效访问所需内容和信息检索的重要性。本文研究了“现实场景”中开发的说话人检索系统所面临的挑战、解决方案、有效性和鲁棒性,这涉及解决两个主要挑战:从有限的元数据中提取与任务相关的标签以用于系统开发和评估,以及档案中遇到的非受控声学条件,从安静的录音室到恶劣的嘈杂环境。虽然我们专注于公开可用的BBC Rewind档案(涵盖1948年至1979年),但我们的框架解决了在内容广泛且可能年代久远的档案上进行说话人检索的更广泛问题,这些档案的内容和声学条件不受控制。通常,这些档案提供简短且笼统的文件描述,大多不足以满足说话人检索等特定应用,而对如此大规模的档案进行手动标注是不可行的。我们探讨了系统开发的各个方面(例如,说话人日志、嵌入提取、查询选择),并分析了挑战、可能的解决方案及其功能。为了评估性能,我们在干净设置和模拟真实世界应用的各种失真条件下进行了系统性实验。我们的研究结果表明,所开发的说话人检索系统具有有效性和鲁棒性,确立了所提出框架在BBC Rewind语料库之外的广泛应用中的通用性和可扩展性。
引用
@article{arxiv.2504.18950,
title = {Speaker Retrieval in the Wild: Challenges, Effectiveness and Robustness},
author = {Erfan Loweimi and Mengjie Qian and Kate Knill and Mark Gales},
journal= {arXiv preprint arXiv:2504.18950},
year = {2025}
}
备注
13 pages, 10 figures, 10 tables, 76 references