FaceScore：面部质量基准测试与人脸生成提升

Zhenyi Liao; Qingsong Xie; Chen Chen; Hannan Lu; Zhijie Deng

FaceScore：面部质量基准测试与人脸生成提升

计算机视觉与模式识别 2024-09-13 v2

作者: Zhenyi Liao , Qingsong Xie , Chen Chen , Hannan Lu , Zhijie Deng

摘要

扩散模型（DM）在给定文本描述生成富有想象力的图像方面取得了显著的成功，但在处理具有复杂细节的现实场景时常常力不从心。文本到图像生成中低质量、不真实的人脸是最突出的问题之一，阻碍了DM在实际应用中的广泛采用。针对解决此问题，本文首先通过人工标注员评估流行预训练DM生成的人脸质量，然后评估现有指标与人类判断之间的对齐程度。我们发现现有指标对量化人脸质量不够理想，因此我们开发了新的指标FaceScore（FS），通过在由扩散模型的inpainting管线精心构建的（赢，输）人脸对数据集上微调广泛使用的ImageReward来实现。大量实验表明，FS在与人类判据方面具有优越的对齐性。另一方面，FS为提升DM以获得更佳人脸生成开辟了可能性。借助FS提供的图像评分，我们可以轻松地执行偏好学习算法来细化DM，如SDXL。全面实验验证了我们方法提高人脸质量的有效性。代码已发布于 https://github.com/OPPO-Mente-Lab/FaceScore。

关键词

扩散模型人脸质量 ImageReward 偏好学习文本到图像生成

引用

@article{arxiv.2406.17100,
  title  = {FaceScore: Benchmarking and Enhancing Face Quality in Human Generation},
  author = {Zhenyi Liao and Qingsong Xie and Chen Chen and Hannan Lu and Zhijie Deng},
  journal= {arXiv preprint arXiv:2406.17100},
  year   = {2024}
}

备注

Under review

FaceScore：面部质量基准测试与人脸生成提升

摘要

关键词

引用

备注

相关论文