将换脸迁移至移动设备：轻量级框架与有监督训练方案
计算机视觉与模式识别
2022-04-19 v1
摘要
现有换脸方法严重依赖大规模网络以获得充足容量来生成视觉上可信的结果，这阻碍了其在资源受限平台上的应用。在本文中，我们提出 MobileFSGAN，一种新颖的轻量级 GAN，用于换脸，其能以少得多的参数在移动设备上运行，同时取得具竞争力的性能。专为图像合成任务设计的轻量级编码器-解码器结构，仅 10.2MB，并能在移动设备上以实时速度运行。为应对训练如此小网络的稳定性问题，我们利用人脸属性编辑技术构建了 FSTriplets 数据集。FSTriplets 提供源-目标-结果训练三元组，产生像素级标签，从而首次使训练过程为有监督。我们还设计了多尺度梯度损失以实现高效反向传播，带来更快且更好的收敛。实验结果表明，我们的模型达到了与最先进方法相当的性能，同时显著减少了网络参数数量。代码与数据集已发布。
引用
@article{arxiv.2204.08339,
title = {Migrating Face Swap to Mobile Devices: A lightweight Framework and A Supervised Training Solution},
author = {Haiming Yu and Hao Zhu and Xiangju Lu and Junhui Liu},
journal= {arXiv preprint arXiv:2204.08339},
year = {2022}
}
备注
Accepted to IEEE International Conference on Multimedia and Expo 2022