基于文本情感的面部表情修改
计算机视觉与模式识别
2021-12-03 v1 人机交互
摘要
人脸及其表情是数字图像中极具表现力的主题之一。从图像中检测情感是计算机视觉领域一项古老的任务；然而，执行其逆操作——从图像合成面部表情——则相当新颖。此类以不同面部表情重新生成图像或修改图像中已有表情的操作需要生成对抗网络（GAN）。在本文中，我们旨在使用 GAN 修改图像中的面部表情，其中具有初始表情（如开心）的输入图像被修改为同一人的不同表情（如厌恶）。我们在修改版的 MUG 数据集上使用 StarGAN 技术来实现此目标。此外，我们通过根据给定文本中的情感重塑图像中的面部表情进一步扩展了我们的工作。为此，我们应用长短期记忆（LSTM）方法从文本中提取情感，并将其传入我们的表情修改模块。作为我们工作流水线的演示，我们还创建了一个博客应用原型，可根据用户的文本情感以不同表情重新生成头像。
引用
@article{arxiv.2112.01454,
title = {Altering Facial Expression Based on Textual Emotion},
author = {Mohammad Imrul Jubair and Md. Masud Rana and Md. Amir Hamza and Mohsena Ashraf and Fahim Ahsan Khan and Ahnaf Tahseen Prince},
journal= {arXiv preprint arXiv:2112.01454},
year = {2021}
}
备注
Accepted in VISAPP2022