指令驱动的3D面部表情生成与过渡
计算机视觉与模式识别
2026-01-14 v1 人工智能
图形学
机器学习
多媒体
摘要
3D虚拟化身通常具有六种基本面部表情之一。为了模拟逼真的情绪变化，我们应该能够渲染任意两种表情之间的面部过渡。本研究提出了一种新的指令驱动面部表情生成框架，该框架从一张面部图像开始，生成3D面部，并将面部表情从一种指定表情变换为另一种。我们引入了指令驱动面部表情分解器（IFED）模块，以促进多模态数据学习并捕捉文本描述与面部表情特征之间的相关性。随后，我们提出了指令到面部表情过渡（I2FET）方法，该方法利用IFED和顶点重建损失函数来细化潜在向量的语义理解，从而根据给定指令生成面部表情序列。最后，我们提出了面部表情过渡模型，用于生成面部表情之间的平滑过渡。大量评估表明，所提出的模型在CK+和CelebV-HQ数据集上优于现有最先进方法。结果表明，我们的框架能够根据文本指令生成面部表情轨迹。考虑到文本提示允许我们对人类情绪状态进行多样化的描述，面部表情及其之间过渡的库可以大大扩展。我们期望我们的框架能找到各种实际应用。关于我们项目的更多信息，请访问https://vohoanganh.github.io/tg3dfet/。
引用
@article{arxiv.2601.08179,
title = {Instruction-Driven 3D Facial Expression Generation and Transition},
author = {Anh H. Vo and Tae-Seok Kim and Hulin Jin and Soo-Mi Choi and Yong-Guk Kim},
journal= {arXiv preprint arXiv:2601.08179},
year = {2026}
}