RFOP:重新思考融合与正交投影以实现人脸-语音关联
计算机视觉与模式识别
2025-12-03 v1
摘要
多语言环境下面孔-语音关联挑战2026旨在研究多语言场景下的面孔-语音关联任务。该挑战引入了英语-德语面孔-语音对用于评估阶段。为此,我们重新审视了融合与正交投影在面孔-语音关联中的应用,通过有效聚焦于两个模态中的相关语义信息。我们的方法在英语-德语数据分割上表现良好,在FAME 2026挑战中排名第三,实现了33.1的等错误率。
引用
@article{arxiv.2512.02860,
title = {RFOP: Rethinking Fusion and Orthogonal Projection for Face-Voice Association},
author = {Abdul Hannan and Furqan Malik and Hina Jabbar and Syed Suleman Sadiq and Mubashir Noman},
journal= {arXiv preprint arXiv:2512.02860},
year = {2025}
}
备注
Ranked 3rd in Fame 2026 Challenge, ICASSP