基于数据放大学习的轻量高质面部妆容模型
计算机视觉与模式识别
2024-09-26 v4
摘要
当前妆容方法主要依赖于非配对学习范式，但它们面临监督不准确（如面部未对齐）和复杂面部提示（包括面部分析与关键点检测）的挑战。这些挑战阻碍了面部妆容模型的低成本部署，尤其是在移动设备上。为解决上述问题，我们提出了一种全新的学习范式，称为“数据放大学习（DAL）”，以及一个名为“TinyBeauty”的紧凑妆容模型。DAL 的核心思想在于利用基于扩散的数据放大器（DDA）来“放大”有限图像用于模型训练，从而仅凭少量标注即可实现精确的像素到像素监督。DDA 中的两项关键创新促成了上述训练方法：（1）设计了残差扩散模型（RDM）以生成高保真细节并规避普通扩散模型中的细节消失问题；（2）提出了细粒度妆容模块（FGMM）以在保留面部身份的同时实现精确的妆容控制与组合。结合 DAL，TinyBeauty 仅需 80K 参数即可在不依赖复杂面部提示的情况下达到最先进性能。同时，TinyBeauty 在 iPhone 13 上实现了高达 460 fps 的卓越推理速度。大量实验表明，DAL 仅使用 5 对图像即可生成极具竞争力的妆容模型。
引用
@article{arxiv.2403.15033,
title = {Toward Tiny and High-quality Facial Makeup with Data Amplify Learning},
author = {Qiaoqiao Jin and Xuanhong Chen and Meiguang Jin and Ying Chen and Rui Shi and Yucheng Zheng and Yupeng Zhu and Bingbing Ni},
journal= {arXiv preprint arXiv:2403.15033},
year = {2024}
}