TalkinNeRF:用于全身说话人体的可动画化神经场
计算机视觉与模式识别
2024-09-26 v1
摘要
我们引入了一个新颖的框架,该框架从单目视频中学习用于全身说话人体的动态神经辐射场 (NeRF)。先前的工作仅表征身体姿态或面部。然而,人类在交流时会使用全身,结合身体姿态、手势以及面部表情。在这项工作中,我们提出了 TalkinNeRF,这是一个统一的基于 NeRF 的网络,用于表征整体的 4D 人体运动。给定一个对象的单目视频,我们学习身体、面部和手部对应的模块,并将它们结合在一起以生成最终结果。为了捕获复杂的手指关节运动,我们为手部学习了一个额外的形变场。我们的多身份表征能够对多个对象进行同时训练,并在完全未见过的姿态下实现稳健的动画。在仅给定短视频作为输入的情况下,它还能泛化到新的身份。我们展示了在为全身说话人体生成动画方面的 SOTA 性能,具有细粒度的手部关节运动和面部表情。
引用
@article{arxiv.2409.16666,
title = {TalkinNeRF: Animatable Neural Fields for Full-Body Talking Humans},
author = {Aggelina Chatziagapi and Bindita Chaudhuri and Amit Kumar and Rakesh Ranjan and Dimitris Samaras and Nikolaos Sarafianos},
journal= {arXiv preprint arXiv:2409.16666},
year = {2024}
}
备注
Accepted by ECCVW 2024. Project page: https://aggelinacha.github.io/TalkinNeRF/