VistaFlow：基于 Q 学习实现动态分辨率管理的全景体积重建
计算机视觉与模式识别
2025-02-11 v1 图形学
摘要
我们介绍 VistaFlow，这是一种可扩展的三维成像技术，能够从一组二维照片中重建完全交互式的 3D 体积图像。我们的模型通过一种能够进行动态分辨率管理的可微分渲染系统来合成新视角，实现高保真的 3D 场景渲染。我们通过引入 QuiQ—a 一种通过 Q 学习训练的新型中间视频控制器，以毫秒级精度调整渲染分辨率以保持持续高帧率。值得注意的是，VistaFlow 在集成 CPU 图形上原生运行，能够在移动和入门级设备上实现可落地的高性能渲染。VistaFlow 绕过了神经辐射场（NeRFs），使用 PlenOctree 数据结构来渲染复杂的光照互动，如反射和亚表面散射，硬件要求最低。我们的模型能够在消费级硬件上实现 1080p 超过 100 帧/秒的新视角合成。通过针对每种设备的渲染质量进行量身定制，VistaFlow 有望在从高端工作站到廉价单片机的广泛硬件范围内提高全景体积场景渲染的效率和可达性。
关键词
引用
@article{arxiv.2502.05222,
title = {VistaFlow: Photorealistic Volumetric Reconstruction with Dynamic Resolution Management via Q-Learning},
author = {Jayram Palamadai and William Yu},
journal= {arXiv preprint arXiv:2502.05222},
year = {2025}
}