Distill3R：面向商品硬件的 3D 基础模型蒸馏管线

虽然多视角 3D 重建正逐渐向大规模基础模型转变，这些模型能够推断出全局一致的几何结构，但其对大规模计算集群的依赖创建了学术实验室进入门槛。为弥合计算鸿沟，我们引入 Distill3R，一个旨在将 3D 基础模型的几何推理蒸馏到可在单台工作站上完整训练的紧凑学生模型的框架。我们的 methodology 主要包括两项创新：(1) 一种离线缓存管线，通过压缩监督信号将重负载教师推理从训练循环中解耦；(2) 一种信心感知蒸馏损失，利用教师不确定性以实现在商品硬件上的训练。我们提出了一个 7200 万参数的学生模型，相较于其 65 亿参数教师实现了 9 倍参数减少和 5 倍推理加速。该学生模型可在单台工作站上在 3 天内完成完整训练，而其教师则需要大型 GPU 集群达一周之久。我们展示了该学生模型在保持结构一致性和保持质量几何理解方面的能力，这对于功能性的 3D 感知能力至关重要。通过提供可复现的单工作站训练配方，Distill3R 为 democratized 3D 视觉研究和高效边缘部署提供了一个探索性入口。本工作并旨在与最先进的基础模型竞争，而是为缺乏大规模计算资源的实验室提供一个可访问的研究基线，使其能够以最小成本在自身领域特定数据上训练和专化模型。