基于改进NSFF模型的多视角子弹时间特效重建
计算机视觉与模式识别
2023-04-04 v1
摘要
子弹时间是一种常用于影视与游戏中的视觉效果，它使时间看似变慢或静止，同时仍保留场景中的动态细节。其通常需要多组相机随主体缓慢移动，并借助后期制作技术合成，成本高且一次性。基于神经渲染场的动态场景视角重建技术可用于解决该需求，但当前多数方法因输入图像模糊以及动态与静态区域过拟合而导致重建精度较差。本文基于NSFF算法，从新视角重建了影视中常见的时空特效场景。为提升重建图像精度，在网络中引入模糊核以对模糊过程进行重建与分析，并将分析后的清晰视角输入NSFF以提高精度。通过利用光流预测信息及时抑制动态网络，迫使网络分别提升动态与静态网络的重建效果，从而增强对动态与静态场景的理解与重建能力。为解决动态与静态场景的过拟合问题，设计了一种新的动态静态交叉熵损失。实验结果表明，相较于原始NSFF及其他动态场景新视角重建算法，改进的NSFF-RFCT提升了重建精度并增强了对动态与静态场景的理解能力。
引用
@article{arxiv.2304.00330,
title = {Multi-view reconstruction of bullet time effect based on improved NSFF model},
author = {Linquan Yu and Yan Gao and Yangtian Yan and Wentao Zeng},
journal= {arXiv preprint arXiv:2304.00330},
year = {2023}
}