FastCAD：从扫描和视频中实时检索与对齐 CAD 模型
计算机视觉与模式识别
2024-03-25 v1
摘要
将三维世界数字化为干净的、基于 CAD 模型的表示，对增强现实和机器人技术具有重要应用。当前最先进的方法计算密集，因为它们单独编码每个检测到的对象，并在第二阶段优化 CAD 对齐。在这项工作中，我们提出了 FastCAD，一种实时方法，可同时检索并对齐给定场景中所有对象的 CAD 模型。与先前工作相比，我们直接预测对齐参数和形状嵌入。我们通过在对比学习框架中学习 CAD 嵌入并将其蒸馏到 FastCAD 中，实现了高质量的形体检索。我们的单阶段方法将推理时间相比其他在 RGB-D 扫描上操作的方法加速了 50 倍，同时在具有挑战性的 Scan2CAD 对齐基准上超越了它们。此外，我们的方法与在线三维重建技术无缝协作。这使得能够从视频中以 10 FPS 实时生成精确的、基于 CAD 模型的重建。通过这样做，我们将视频设置中的 Scan2CAD 对齐准确率从 43.0% 显著提高到 48.2%，并将重建准确率从 22.9% 提高到 29.6%。
引用
@article{arxiv.2403.15161,
title = {FastCAD: Real-Time CAD Retrieval and Alignment from Scans and Videos},
author = {Florian Langer and Jihong Ju and Georgi Dikov and Gerhard Reitmayr and Mohsen Ghafoorian},
journal= {arXiv preprint arXiv:2403.15161},
year = {2024}
}