Speedy MASt3R
计算机视觉与模式识别
2025-03-14 v1
摘要
图像匹配是现代3D视觉算法的关键组件，对于准确的场景重建和定位至关重要。MASt3R通过利用DUSt3R并引入快速逆向匹配方案，将图像匹配重新定义为3D任务，使匹配速度提升数十倍同时保持理论保证。该方法获得了强烈的关注度，DUSt3R和MASt3R在短时间内被引用超过250次，凸显了其影响力。然而，尽管MASt3R在准确性方面表现出色，但其推理速度仍是一个瓶颈。在A40 GPU上，图像对的延迟为198.16毫秒，主要由于ViT编码器-解码器和Fast Reciprocal Nearest Neighbor(FastNN)匹配的计算开销。为此，我们引入Speedy MASt3R，一个后训练优化框架，用于在保持准确性的同时提高推理效率。它集成了多种优化技术，包括FlashMatch——一种利用FlashAttention v2配合铺幕策略以提高效率的方法、通过层和张量融合实现的计算图优化（GraphFusion），以及FastNN流水线化方案，后者将内存访问时间从二次降低到线性，同时通过向量化计算加速块状相关评分（FastNN-Lite）。此外，它采用混合精度推理（FP16/FP32混合计算），在加速的同时保持数值精度。在Aachen Day-Night、InLoc、7-Scenes、ScanNet1500和MegaDepth1500上评估后，Speedy MASt3R实现了推理时间的54%减少（从198毫秒降至91毫秒/图像对），而不牺牲准确性。此突破性进展使实时3D理解成为可能，为混合现实导航和大规模3D场景重建等应用提供了支持。
引用
@article{arxiv.2503.10017,
title = {Speedy MASt3R},
author = {Jingxing Li and Yongjae Lee and Abhay Kumar Yadav and Cheng Peng and Rama Chellappa and Deliang Fan},
journal= {arXiv preprint arXiv:2503.10017},
year = {2025}
}