考虑物体-环境交互的神经隐式场编辑
计算机视觉与模式识别
2023-11-02 v1 人工智能
摘要
基于神经隐式场的3D场景编辑方法已获得广泛关注，并在3D编辑任务中取得了优异效果。然而，现有方法常将物体与场景环境之间的交互相混合，渲染视图中未能呈现阴影等场景外观的变化。本文提出一种物体与场景环境交互感知(OSI-aware)系统，这是一种考虑物体与场景环境交互的双流神经渲染系统。为从混合体中获取光照条件，该系统通过本征分解方法成功分离物体与场景环境之间的交互。为研究物体级编辑任务引起的场景外观相应变化，我们引入深度图引导的场景修复方法以及基于点匹配策略的阴影渲染方法。大量实验表明，我们的新流程在场景编辑任务中产生了合理的外观变化，并在新视角合成任务的渲染质量上取得了具有竞争力的性能。
引用
@article{arxiv.2311.00425,
title = {Neural Implicit Field Editing Considering Object-environment Interaction},
author = {Zhihong Zeng and Zongji Wang and Yuanben Zhang and Weinan Cai and Zehao Cao and Lili Zhang and Yan Guo and Yanhong Zhang and Junyi Liu},
journal= {arXiv preprint arXiv:2311.00425},
year = {2023}
}