DT-NeRF：用于高保真说话人像合成的解耦三平面-哈希神经辐射场
计算机视觉与模式识别
2023-09-15 v1
摘要
在本文中，我们提出了解耦三平面-哈希神经辐射场（DT-NeRF），这是一个显著改善说话人脸照片级真实感渲染并在关键评测数据集上取得最先进成果的框架。我们的架构将面部区域解耦为两个专用三平面：一个专用于表示嘴巴，另一个用于表示更广泛的面部特征。我们引入音频特征作为残差项，并通过音频-嘴巴-面部Transformer将其作为查询向量集成到我们的模型中。此外，我们的方法利用神经辐射场（NeRF）的能力，通过加性体渲染技术丰富整个面部的体表示。综合实验评估证实了我们所提方法的有效性和优越性。
引用
@article{arxiv.2309.07752,
title = {DT-NeRF: Decomposed Triplane-Hash Neural Radiance Fields for High-Fidelity Talking Portrait Synthesis},
author = {Yaoyu Su and Shaohui Wang and Haoqian Wang},
journal= {arXiv preprint arXiv:2309.07752},
year = {2023}
}
备注
5 pages, 5 figures. Submitted to ICASSP 2024