学习生成条件 Tri-plane 以实现 3D 感知的表情可控肖像动画
计算机视觉与模式识别
2026-03-05 v4 人工智能
多媒体
摘要
本文提出 Export3D,这是一种单样本(one-shot)3D 感知肖像动画方法,能够控制给定肖像图像的面部表情和相机视角。为此,我们引入了一种带有有效表情条件化方法的 tri-plane 生成器,该方法通过将 3DMM 的表情参数迁移到源图像中,直接生成 3D 先验的 tri-plane。随后,通过可微体渲染将该 tri-plane 解码为不同视角的图像。现有肖像动画方法严重依赖图像变形在运动空间中迁移表情,难以实现外观与表情的解耦。相比之下,我们提出了一种针对无外观表情参数的对比预训练框架,消除了跨身份表情迁移时不期望的外观互换。大量实验表明,我们的预训练框架能够学习隐藏在 3DMM 中的无外观表情表示,且我们的模型能够以跨身份方式生成 3D 感知的表情可控肖像图像而不发生外观互换。
引用
@article{arxiv.2404.00636,
title = {Learning to Generate Conditional Tri-plane for 3D-aware Expression Controllable Portrait Animation},
author = {Taekyung Ki and Dongchan Min and Gyeongsu Chae},
journal= {arXiv preprint arXiv:2404.00636},
year = {2026}
}
备注
ECCV 2024. Project page: https://export3d.github.io