基于小波变换的人脸表情操纵
计算机视觉与模式识别
2024-12-04 v1 人工智能
图像与视频处理
摘要
人脸表情操纵旨在在不影响人脸识别的前提下改变人脸表情。为了将人脸表情转化为目标表情，之前的方法依赖表情标签来指导操纵过程。然而，这些方法未能保留人脸特征的细节，导致输出图像中的身份信息减弱或丢失。本文提出了WEM-GAN（全称 wavelet-based expression manipulation GAN），即基于小波变换的表情操纵生成对抗网络，旨在在编辑过程中更好地保留原始图像的细节。首先，我们利用小波变换技术并将其与基于U-net自编码器背板的生成器结合，以提高生成器保留人脸特征细节的能力。其次，我们实现了高频分量鉴别器，并使用高频域对抗损失进一步约束模型的优化，为生成的人脸图像提供更丰富的细节。此外，为缩小生成人脸表情与目标表情之间的差距，我们在编码器和解码器之间使用残差连接，并多次应用相对动作单位（AUs）。大量的定性和定量实验表明，我们的模型在保留身份特征、编辑能力和图像生成质量方面均优于AffectNet数据集上的基线方法。该模型在平均内容距离（ACD）和表情距离（ED）等指标上表现出优异性能。
引用
@article{arxiv.2412.02530,
title = {WEM-GAN: Wavelet transform based facial expression manipulation},
author = {Dongya Sun and Yunfei Hu and Xianzhe Zhang and Yingsong Hu},
journal= {arXiv preprint arXiv:2412.02530},
year = {2024}
}