基于对比学习的链式聚类用于多语言语音-人脸关联
声音
2024-08-20 v2 人工智能
音频与语音处理
摘要
人们面部和声音之间的内在关联最近在多语言环境中成为值得关注的研究领域。本文介绍我们的新型解决方案，以应对面向多语言环境的人脸-语音关联（FAME）2024挑战，聚焦于基于对比学习的链式聚类方法以增强人脸-语音关联。该任务涉及在听觉和视觉模态线索之间建立生物识别关系，并建模不同语言之间的韵律关联，同时应对数据中存在的内在与外在变异性。为处理这些非平凡的挑战，我们的方法采用受监督的交叉对比学习（SCC）在多语言场景中建立语音和人脸之间的稳健关联。随后，我们特别设计了一种链式聚类后处理步骤，以减轻通常在野外无约束数据中找到的离群值的影响。我们进行了大量实验，以探讨语言对人脸-语音关联的影响。整体结果在FAME公共评估平台上进行评估，我们取得了第二名成绩。结果表明我们方法的卓越性能，我们验证了所提出方法的鲁棒性和有效性。代码可在https://github.com/colaudiolab/FAME24_solution获取。
引用
@article{arxiv.2408.02025,
title = {Contrastive Learning-based Chaining-Cluster for Multilingual Voice-Face Association},
author = {Wuyang Chen and Yanjie Sun and Kele Xu and Yong Dou},
journal= {arXiv preprint arXiv:2408.02025},
year = {2024}
}