基于自然注视-头部协调的数据驱动头部运动生成
计算机视觉与模式识别
2026-05-26 v1
摘要
我们提出了首个从大规模野外面部视频中建模时序注视-头部协调的数据驱动方法。为获得通用学习的训练数据，我们提出了自动化管道，从而从通用的基于外观的注视估计器中提取自然且多样化的注视和头部运动。为捕捉注视-头部协调的概率关联与时序动态，我们构建模型基于生成条件变分自编码器，以实现合理且多样化的注视条件下头部运动生成。我们进一步将框架应用于注视控制的面部视频生成，其中我们实现了与输入注视相关联的自然真实头部运动的视频生成——这是此前未被强调的方面。人类评估和定量比较表明，我们的方法有效性和设计选择的有效性，评估者对我们方法相对于基线方法表现出统计显著的偏好。
引用
@article{arxiv.2605.25810,
title = {Data-driven Head Motion Generation through Natural Gaze-Head Coordination},
author = {Xiaohan Liu and Yilin Wen and Yusuke Sugano},
journal= {arXiv preprint arXiv:2605.25810},
year = {2026}
}