GARF：用于现实破碎物体的通用3D重组学习框架
计算机视觉与模式识别
2025-12-02 v2 人工智能
摘要
3D重组是一项具有广泛应用前景的空间智力任务，涵盖多个科学领域。尽管大规模合成数据集推动了基于学习的方法取得了有希望的进展，但其对不同领域的泛化性仍受限。关键问题是，训练于合成数据集的模型是否能泛化到现实世界的破碎物体，其中破碎模式更为复杂。为弥合这一差距，我们提出了GARF（Generalizable 3D Reassembly for Real-World Fractures），一个面向现实破碎物体的通用3D重组框架。GARF利用破碎感知预训练，从单个碎片中学习破碎特征，通过流匹配实现精确的6自由度对齐。在推理阶段，我们引入一步预装配，提高了对未见对象及不同破碎数量的鲁棒性。与考古学家、古人类学家和鸟类学家合作，我们 curated了 Fractura 数据集，面向视觉和学习社区，涵盖陶器、骨骼、鸡蛋壳和岩石等现实破碎类型。 comprehensive 实验表明，我们的方法在合成和现实数据集上均优于当前最先进的方法，旋转误差降低82.87%，零件准确率提高25.15%。这为利用合成数据推进现实世界3D拼图求解指明了方向，展示了其在未见对象形状和多样化破碎类型上的强大泛化能力。GARF的代码、数据和演示均可在 https://ai4ce.github.io/GARF/ 访问。
引用
@article{arxiv.2504.05400,
title = {GARF: Learning Generalizable 3D Reassembly for Real-World Fractures},
author = {Sihang Li and Zeyu Jiang and Grace Chen and Chenyang Xu and Siqi Tan and Xue Wang and Irving Fang and Kristof Zyskowski and Shannon P. McPherron and Radu Iovita and Chen Feng and Jing Zhang},
journal= {arXiv preprint arXiv:2504.05400},
year = {2025}
}
备注
18 pages. Project Page https://ai4ce.github.io/GARF/