基于神经辐射场的多任务视图合成
计算机视觉与模式识别
2023-10-02 v1
摘要
多任务视觉学习是计算机视觉的关键方面。然而，当前研究主要集中于多任务密集预测设定，其忽视了内在的三维世界及其多视图一致结构，且缺乏通用的想象能力。为应对这些局限，我们提出了一种新问题设定——多任务视图合成（MTVS），其将多任务预测重新诠释为针对包括 RGB 在内的多种场景属性的新视图合成任务集合。为解决 MTVS 问题，我们提出 MuvieNeRF，一个融合多任务与跨视图知识以同步合成多种场景属性的框架。MuvieNeRF 集成了两个关键模块——跨任务注意力（CTA）与跨视图注意力（CVA）模块，实现了跨多视图与多任务信息的高效利用。在合成与真实基准上的广泛评估表明，MuvieNeRF 能够同步合成不同场景属性且具备良好视觉质量，甚至在各设定下优于传统的判别模型。值得注意的是，我们展示了 MuvieNeRF 在一系列 NeRF 骨干上具有普适适用性。我们的代码见 https://github.com/zsh2000/MuvieNeRF。
引用
@article{arxiv.2309.17450,
title = {Multi-task View Synthesis with Neural Radiance Fields},
author = {Shuhong Zheng and Zhipeng Bao and Martial Hebert and Yu-Xiong Wang},
journal= {arXiv preprint arXiv:2309.17450},
year = {2023}
}
备注
ICCV 2023, Website: https://zsh2000.github.io/mtvs.github.io/