TransHuman：一种基于Transformer的可泛化神经人体渲染人体表示
计算机视觉与模式识别
2023-07-25 v1
摘要
本文关注可泛化神经人体渲染任务，该任务从不同角色的多视角视频中训练条件神经辐射场（NeRF）。为处理动态人体运动，先前方法主要使用基于SparseConvNet（SPC）的人体表示来处理绘制后的SMPL。然而，此类基于SPC的表示 i) 在易变观测空间下优化，导致训练与推理阶段间姿态错位，且 ii) 缺乏对人体各部分间全局关系的建模，而后者对处理不完整的绘制SMPL至关重要。针对这些问题，我们提出一个名为TransHuman的全新框架，该框架在规范空间下学习绘制SMPL并利用transformers捕获人体各部分间的全局关系。具体而言，TransHuman主要由基于Transformer的人体编码（TransHE）、可变形局部辐射场（DPaRF）和细粒度细节融合（FDI）组成。TransHE首先通过transformers在规范空间下处理绘制SMPL以捕获人体各部分间的全局关系。随后，DPaRF将每个输出token绑定一个可变形辐射场，用于在观测空间下编码查询点。最后，采用FDI进一步融合来自参考图像的细粒度信息。在ZJU-MoCap和H36M上的大量实验表明，我们的TransHuman以高效率实现了显著的新SOTA性能。项目主页：https://pansanity666.github.io/TransHuman/
引用
@article{arxiv.2307.12291,
title = {TransHuman: A Transformer-based Human Representation for Generalizable Neural Human Rendering},
author = {Xiao Pan and Zongxin Yang and Jianxin Ma and Chang Zhou and Yi Yang},
journal= {arXiv preprint arXiv:2307.12291},
year = {2023}
}
备注
Accepted by ICCV 2023