SuperGaussian: 重新利用视频模型进行三维超分辨率
计算机视觉与模式识别
2024-07-17 v4 人工智能
摘要
我们提出了一种简单、模块化且通用的方法，通过添加几何和外观细节来对粗糙的三维模型进行上采样。虽然生成式三维模型现已存在，但其质量尚无法与图像和视频领域的同类模型相媲美。我们证明，可以直接重新利用现有的（预训练）视频模型进行三维超分辨率，从而规避缺乏大型高质量三维训练模型库的问题。我们描述了如何重新利用非三维一致的视频上采样模型，并将其与三维整合相结合以产生三维一致的结果。作为输出，我们生成高质量的、以物体为中心且高效的高斯泼溅模型。我们的方法不依赖于类别，并且可以轻松地集成到现有的三维工作流程中。我们在各种三维输入上评估了我们提出的 SuperGaussian，这些输入在复杂性和表示形式（例如，高斯泼溅或 NeRF）方面各不相同，并证明了我们简单的方法显著提高了最终三维模型的保真度。详情请访问我们的项目网站：supergaussian.github.io
引用
@article{arxiv.2406.00609,
title = {SuperGaussian: Repurposing Video Models for 3D Super Resolution},
author = {Yuan Shen and Duygu Ceylan and Paul Guerrero and Zexiang Xu and Niloy J. Mitra and Shenlong Wang and Anna Frühstück},
journal= {arXiv preprint arXiv:2406.00609},
year = {2024}
}
备注
Accepted at ECCV 2024, project website with interactive demo: https://supergaussian.github.io