FaceChain：以人为中心的人工智能生成内容游乐场
计算机视觉与模式识别
2023-12-15 v2 人工智能
摘要
近期个性化图像生成的进展揭示了预训练文本到图像模型从一组人像图像中学习身份信息的引人注目的能力。然而，现有方案在生成真实细节方面存在缺陷，通常存在若干问题，例如（i）生成的人脸呈现出其自身独特特征，即面部形状和面部特征定位可能不似输入的关键特征；（ii）合成人脸可能包含扭曲、模糊或损坏区域。本文提出 FaceChain，一个个性化人像生成框架，其结合了一系列定制图像生成模型与丰富的面部相关感知理解模型（如人脸检测、深度人脸嵌入提取和面部属性识别），以应对上述挑战，并以仅少量人像图像作为输入生成真实个性化人像。具体而言，我们将若干 SOTA 人脸模型注入生成流程，相较于先前方案（如 DreamBooth、InstantBooth 或其他仅用 LoRA 的方法）实现了更高效的标签标注、数据处理与模型后处理。此外，基于 FaceChain，我们进一步开发了若干应用以构建更广阔的游乐场来更好地展现其价值，包括虚拟试穿与 2D 说话头。我们希望它能成长以满足社区日益增长的需求。请注意，这是一项持续进行的工作，将不断被完善与改进。FaceChain 基于 Apache-2.0 许可证开源，地址为 \url{https://github.com/modelscope/facechain}。
引用
@article{arxiv.2308.14256,
title = {FaceChain: A Playground for Human-centric Artificial Intelligence Generated Content},
author = {Yang Liu and Cheng Yu and Lei Shang and Yongyi He and Ziheng Wu and Xingjun Wang and Chao Xu and Haoyu Xie and Weida Wang and Yuze Zhao and Lin Zhu and Chen Cheng and Weitao Chen and Yuan Yao and Wenmeng Zhou and Jiaqi Xu and Qiang Wang and Yingda Chen and Xuansong Xie and Baigui Sun},
journal= {arXiv preprint arXiv:2308.14256},
year = {2023}
}
备注
This is an ongoing work that will be consistently refined and improved upon