中文

TimeWalker:面向终身缩放的个性化神经头部模型

计算机视觉与模式识别 2025-12-16 v2

摘要

我们提出了TimeWalker,一个能够在终身尺度上建模个人真实、全身的3D头部模型。与当前以瞬时水平(如即时摄影或短视频)捕获身份的头部模型管道不同,TimeWalker 通过从个人各生活阶段的非结构化数据中构建该人的综合身份,提供了一种实现该人在不同时刻进行全身重建和动画的范式。TimeWalker成功的核心是一种新的神经参数模型,能够在年龄跨度上学习个性化表示,并实现形状、表情和外观的解耦。我们方法的核心理念包含两个方面:(1)我们追溯到在标准空间中对个人身份进行加法组合的建模原则,即将平均头部表示与由神经头部基底驱动的时刻特定头部属性表示相结合。为学习能够以紧凑方式表示头部在各年龄段综合变化的头部基底集合,我们提出了动态神经基底混合模块(Dynamo)。它会根据目标人物在各年龄段的共性特征和特定特征,动态调整神经头部基底的数量和混合权重。(2)动态2D高斯溅写(DNA-2DGS),这是一种对高斯溅写表示的扩展,用于建模头部运动变形,如面部表情,同时保持渲染和重建的真实感。DNA-2DGS包含一组可控的2D有向平面高斯盘,利用参数模型的先验知识,并随表情的变化而移动/旋转。在大量实验评估后,我们展示了TimeWalker在实现具有真实渲染效果的解耦维度下的重建和动画能力,展示了一种轻松实现个性化“时光旅行”的方式。

关键词

引用

@article{arxiv.2412.02421,
  title  = {TimeWalker: Personalized Neural Space for Lifelong Head Avatars},
  author = {Dongwei Pan and Yang Li and Hongsheng Li and Kwan-Yee Lin},
  journal= {arXiv preprint arXiv:2412.02421},
  year   = {2025}
}

备注

Project Page: https://timewalker2025.github.io/timewalker.github.io/