R3-Avatar：用于重建逼真人类头像的时序码本记录与检索
计算机视觉与模式识别
2025-03-18 v1
摘要
我们提出R3-Avatar，引入时序码本，以克服人类头像在可动画性与高保真渲染质量之间的矛盾。现有基于视频的人类 3D 头像重建要么仅关注渲染，缺乏动画支持，要么学习姿态-外观映射用于动画，但在受限训练姿态或复杂服装情况下会导致质量下降。本文采用“记录-检索-重建”策略，确保从新视角获得高质量渲染，同时缓解在新姿态下的质量下降。具体而言，消歧化时间戳在码本中记录时间外观变化，确保高保真新视角渲染；而新姿态通过匹配最相似的训练姿态检索相应时间戳，以实现增强外观。R3-Avatar 在现代视频-based 人类头像重建方法中显著优于前沿技术，尤其在受限训练人类姿态和复杂服装的极端场景中克服了视觉质量下降。
引用
@article{arxiv.2503.12751,
title = {R3-Avatar: Record and Retrieve Temporal Codebook for Reconstructing Photorealistic Human Avatars},
author = {Yifan Zhan and Wangze Xu and Qingtian Zhu and Muyao Niu and Mingze Ma and Yifei Liu and Zhihang Zhong and Xiao Sun and Yinqiang Zheng},
journal= {arXiv preprint arXiv:2503.12751},
year = {2025}
}