NPC：从视频重建的可动画神经点角色
计算机视觉与模式识别
2023-09-04 v2
摘要
高保真人体三维模型现在可直接从视频中学习，通常通过将基于模板的表面模型与神经表示相结合来实现。然而，获取模板表面需要昂贵的的多视角采集系统、激光扫描或严格控制的条件。先前的方法避免使用模板，但依赖于从观测空间到规范空间的高成本或病态映射。我们提出一种用于重建可动画角色的混合点基表示，它不需要显式表面模型，同时可泛化至新姿态。对于给定的视频，我们的方法自动生成一组表示近似规范几何的显式三维点，并学习一个产生姿态相关点变换的关节变形模型。这些点既作为高频神经特征的支架，也作为在观测空间与规范空间之间高效映射的锚点。我们在已有基准上证明，我们的表示克服了先前在规范空间或观测空间中工作的局限性。此外，我们的自动点提取方法能够学习人与动物角色的模型，尽管更具通用性，却匹配了使用绑定表面模板的方法的性能。项目主页：https://lemonatsu.github.io/npc/
引用
@article{arxiv.2304.02013,
title = {NPC: Neural Point Characters from Video},
author = {Shih-Yang Su and Timur Bagautdinov and Helge Rhodin},
journal= {arXiv preprint arXiv:2304.02013},
year = {2023}
}
备注
Project website: https://lemonatsu.github.io/npc/