SimVS：模拟世界不一致性以实现鲁棒视图合成
计算机视觉与模式识别
2024-12-11 v1 人工智能
图形学
机器学习
摘要
新颖视图合成技术在静态场景中取得了令人印象深刻的结果，但在面对非正式拍摄场景固有的不一致性时却力不从心：变化的光照、场景运动以及其他难以显式建模的非预期效应。我们提出了一种利用生成式视频模型来模拟拍摄过程中可能发生的世界不一致性的方法。我们利用此过程以及现有的多视图数据集，创建合成数据来训练一个多视图协调网络，该网络能够将不一致的观测结果调和为一致的3D场景。我们证明，我们的世界模拟策略在处理真实世界场景变化方面显著优于传统的增强方法，从而能够在存在各种具有挑战性的不一致性的情况下，实现高精度的静态3D重建。项目页面：https://alextrevithick.github.io/simvs
引用
@article{arxiv.2412.07696,
title = {SimVS: Simulating World Inconsistencies for Robust View Synthesis},
author = {Alex Trevithick and Roni Paiss and Philipp Henzler and Dor Verbin and Rundi Wu and Hadi Alzayer and Ruiqi Gao and Ben Poole and Jonathan T. Barron and Aleksander Holynski and Ravi Ramamoorthi and Pratul P. Srinivasan},
journal= {arXiv preprint arXiv:2412.07696},
year = {2024}
}
备注
Project page: https://alextrevithick.github.io/simvs