直播中的面部吸引力预测：新基准与多模态方法
计算机视觉与模式识别
2025-03-14 v2
摘要
面部吸引力预测（FAP）长期以来一直是计算机视觉的重要任务，可广泛应用于直播中的面部美化、内容推荐等。然而，以往的FAP数据集要么规模小、闭源，要么缺乏多样性。此外，相应的FAP模型泛化能力和适应能力有限。为克服这些限制，本文在更具挑战性的应用场景——直播中，提出了首个大规模直播专用FAP数据集LiveBeauty。我们从直播平台直接收集了10,000张人脸图像，并通过精心设计的主观实验获得了200,000条相应的吸引力标注，使LiveBeauty成为在挑战性直播场景下最大的开放FAP数据集。此外，我们提出了一种多模态FAP方法来评估直播中的面部吸引力。具体而言，我们首先通过个性化吸引力先验模块（PAPM）和多模态吸引力编码器模块（MAEM）分别提取整体面部先验知识和多模态美学语义特征，然后通过跨模态融合模块（CMFM）整合提取的特征。在LiveBeauty及其他公开FAP数据集上进行的大量实验表明，我们提出的方法达到了最先进的性能。数据集将很快公开。
引用
@article{arxiv.2501.02509,
title = {Facial Attractiveness Prediction in Live Streaming: A New Benchmark and Multi-modal Method},
author = {Hui Li and Xiaoyu Ren and Hongjiu Yu and Huiyu Duan and Kai Li and Ying Chen and Libo Wang and Xiongkuo Min and Guangtao Zhai and Xu Liu},
journal= {arXiv preprint arXiv:2501.02509},
year = {2025}
}
备注
Section 3 in Images Collection has description errors about data cleaning. The compared methods data of Table 3 lacks other metrics