RealTalk：逼真的情感感知生动说话人头合成
计算机视觉与模式识别
2025-08-19 v1 人工智能
人机交互
机器学习
摘要
情感是人工社会智能的关键组成部分。然而，虽然当前方法在唇音同步和图像质量方面表现出色，但它们往往无法在保持主体身份的同时生成准确且可控的情感表情。为了应对这一挑战，我们引入了 RealTalk，这是一个新颖的框架，用于合成具有高情感准确性、增强的情感可控性和鲁棒的身份保持的情感说话人头。RealTalk 采用变分自编码器（VAE）从驱动音频生成 3D 面部关键点，并使用基于 ResNet 的关键点形变模型（LDM）将这些关键点与情感标签嵌入拼接起来，以生成情感关键点。这些关键点和面部混合形状系数共同条件化一个新颖的三平面注意力神经辐射场（NeRF），以合成高度真实的情感说话人头。大量实验表明，RealTalk 在情感准确性、可控性和身份保持方面优于现有方法，推动了具有社会智能的 AI 系统的发展。
引用
@article{arxiv.2508.12163,
title = {RealTalk: Realistic Emotion-Aware Lifelike Talking-Head Synthesis},
author = {Wenqing Wang and Yun Fu},
journal= {arXiv preprint arXiv:2508.12163},
year = {2025}
}
备注
Accepted to the ICCV 2025 Workshop on Artificial Social Intelligence