重新思考声音-人脸相关性：一种几何视角
计算机视觉与模式识别
2023-07-27 v1 声音
音频与语音处理
摘要
先前关于声音-人脸匹配和声音引导人脸合成的工作展示了声音与人脸之间的强相关性，但主要依赖于性别、年龄和情绪等粗粒度语义线索。在本文中，我们旨在从几何角度研究在没有任何语义信息的情况下从声音重建三维面部形状的能力。我们提出了一种声音-人体测量学参数（AM）-人脸范式，该范式从声音中识别可预测的人脸 AM，并利用它们引导三维人脸重建。通过利用 AM 作为连接声音与面部几何的代理，我们可以消除不可预测 AM 的影响，并使面部几何易于处理。我们的方法在我们提出的具有真实三维人脸扫描和相应语音记录的数据集上进行评估，我们发现声音与面部几何的特定部分（如鼻腔和颅腔）之间存在显著相关性。我们的工作为声音-人脸相关性提供了新视角，并可作为人体测量学的一项良好实证研究。
引用
@article{arxiv.2307.13948,
title = {Rethinking Voice-Face Correlation: A Geometry View},
author = {Xiang Li and Yandong Wen and Muqiao Yang and Jinglu Wang and Rita Singh and Bhiksha Raj},
journal= {arXiv preprint arXiv:2307.13948},
year = {2023}
}
备注
ACM Multimedia 2023