面向面部表情生成的局部细粒度控制
计算机视觉与模式识别
2024-07-30 v1
摘要
生成模型因能够产生高质量图像和视频而近年来大幅流行。然而，引导这些模型生成具有特定属性和精确控制的图像仍具有挑战性。人类，特别是面部表情，因其能够传递丰富的表情与意图而居于内容生成的核心。当前生成模型大多产生平淡的中性表情和缺乏个性的笑容，缺乏真实感。其他基本表情如愤怒虽可实现，但仅限于刻板化的表情，而其他不寻常的面部表情如怀疑则难以可靠生成。本文提出在面部表情生成中使用动作单元（AUs, Action Units）进行控制。AUs 根据面部解剖学描述 individual facial muscle movements，允许对面部运动强度进行精确且局部的控制。通过组合不同的动作单元，我们释放了超越典型情感模型的非寻常面部表情的能力，使生成结果能够反映真实世界中细腻而真实的表情。所提方法可无缝集成到基于文本和图像提示的适配器中，为生成结果提供精确且直观的控制。代码与数据集已公开 https://github.com/tvaranka/fineface。
引用
@article{arxiv.2407.20175,
title = {Towards Localized Fine-Grained Control for Facial Expression Generation},
author = {Tuomas Varanka and Huai-Qian Khor and Yante Li and Mengting Wei and Hanwei Kung and Nicu Sebe and Guoying Zhao},
journal= {arXiv preprint arXiv:2407.20175},
year = {2024}
}