AUEditNet：基于隐式解耦的双分支面部动作单元强度操控
计算机视觉与模式识别
2024-04-11 v2
摘要
面部动作单元（AU）强度在量化细粒度表情行为中起关键作用，是面部表情操控的有效条件。然而，包含多个 AU 强度标注的公开数据集仍然严重匮乏，且通常受限于受试者数量有限。由于解耦问题，这一限制给图像中的 AU 强度操控带来了挑战，促使研究人员求助于其他带有预训练 AU 强度估计器的大型数据集来生成伪标签。为了解决这一限制并充分利用 AU 强度的手动标注进行精确操控，我们引入了 AUEditNet。我们提出的模型仅在 18 个受试者的数据上即可有效训练，实现了跨 12 个 AU 的出色强度操控。利用双分支架构，我们的方法实现了面部属性与身份的全面解耦，而无需额外的损失函数或采用大批量大小。尽管数据集受试者数量有限，该方法仍为实现所需的面部属性编辑提供了潜在解决方案。我们的实验表明，AUEditNet 在编辑 AU 强度方面具有卓越的准确性，证实了其在有限受试者池中解耦面部属性与身份的能力。AUEditNet 允许通过强度值或目标图像进行条件控制，从而无需为特定面部表情合成构建 AU 组合。此外，作为下游任务的 AU 强度估计，验证了真实图像与编辑图像之间的一致性，证实了我们提出的 AU 强度操控方法的有效性。
引用
@article{arxiv.2404.05063,
title = {AUEditNet: Dual-Branch Facial Action Unit Intensity Manipulation with Implicit Disentanglement},
author = {Shiwei Jin and Zhen Wang and Lei Wang and Peng Liu and Ning Bi and Truong Nguyen},
journal= {arXiv preprint arXiv:2404.05063},
year = {2024}
}