MobileFaceSwap：一种用于视频换脸的轻量级框架
计算机视觉与模式识别
2022-01-12 v1
摘要
先进的换脸方法已取得引人注目的结果。然而，这类方法大多参数量与计算量庞大，难以应用于实时场景或部署于手机等边缘设备。本文中，我们提出一种轻量级的身份感知动态网络（IDN），通过根据身份信息动态调整模型参数来实现与主体无关的换脸。具体地，我们借助权重预测与权重调制两种动态神经网络技术，设计了高效的身份注入模块（IIM）。一旦 IDN 更新，便可对任意目标图像或视频进行换脸。所提 IDN 仅含 0.50M 参数，每帧需 0.33G FLOPs，能够在手机上实现实时视频换脸。此外，我们引入基于知识蒸馏的方法以稳定训练，并采用损失重加权模块获得更好的合成结果。最终，我们的方法取得了与教师模型及其他 SOTA 方法相当的结果。
引用
@article{arxiv.2201.03808,
title = {MobileFaceSwap: A Lightweight Framework for Video Face Swapping},
author = {Zhiliang Xu and Zhibin Hong and Changxing Ding and Zhen Zhu and Junyu Han and Jingtuo Liu and Errui Ding},
journal= {arXiv preprint arXiv:2201.03808},
year = {2022}
}
备注
AAAI 2022