DreamSat：面向空间目标新视角合成的通用3D模型
计算机视觉与模式识别
2024-10-08 v1 机器学习
摘要
新视角合成（NVS）可生成场景的新图像，或将二维图像集合转换为完整的3D模型。在空间域意识领域，随着空间日益拥挤，NVS可精确映射空间目标与碎片，提高空间作业的安全性与效率。类似地，在近距离对接与proximity作业任务中，3D模型可提供目标对象形状、尺寸和姿态的细节，助力更好的规划与预测。本文探索这些重建技术的泛化能力，旨在避免为每个新场景重新训练，通过提出一种从单视图重建太空舰船的新方法——DreamSat。该方法通过在190个高质量太空舰船模型数据集上微调Zero123 XL（一种领先的单视图重建模型），并整合至DreamGaussian框架中。我们在30个先前未见的太空舰船图像测试集上，根据CLIPScore（+0.33%）、峰值信噪比（PSNR +2.53%）、结构相似性指数（SSIM +2.38%）和学习感知图像补丁相似性（LPIPS +0.16%）等多个指标，证明了重建质量的一致性提升。该方法解决了空间行业缺乏领域特定3D重建工具的难题，利用领先的扩散模型和3D高斯渲染技术。该方法保持DreamGaussian框架的效率，同时提升了太空舰船重建的准确性与细节。本工作的代码可在GitHub上获取（https://github.com/ARCLab-MIT/space-nvs）。
引用
@article{arxiv.2410.05097,
title = {DreamSat: Towards a General 3D Model for Novel View Synthesis of Space Objects},
author = {Nidhi Mathihalli and Audrey Wei and Giovanni Lavezzi and Peng Mun Siew and Victor Rodriguez-Fernandez and Hodei Urrutxua and Richard Linares},
journal= {arXiv preprint arXiv:2410.05097},
year = {2024}
}
备注
Presented at the 75th International Astronautical Congress, October 2024, Milan, Italy