CloudFixer:基于扩散引导的 3D 点云测试时适应几何变换
计算机视觉与模式识别
2024-07-24 v1
摘要
3D 点云数据由真实传感器捕获,常常包含由于遮挡、分辨率有限以及尺度变化等各种障碍导致的噪声点。这些挑战阻碍了预训练在干净点云上训练的点云识别模型的部署,导致显著的性能下降。虽然测试时适应 (TTA) 策略在 2D 领域显示出有前景的成果,但其在 3D 点云上的应用仍属探索阶段。在 TTA 方法中,输入适应方法——即直接使用预训练扩散模型将测试实例转换为源域——已在 2D 领域提出。尽管该方法在实际场景中表现出鲁棒的 TTA 性能,但 naively 将其应用于 3D 域可能并不理想,因为忽略了点云的固有特性,以及其计算成本的高昂。针对这些局限性,我们提出 CloudFixer,一种针对 3D 点云的测试时输入适应方法,采用预训练扩散模型。具体而言,CloudFixer 通过设计 carefully 的目标函数,利用点云的几何特性,对几何变换参数进行优化。我们还通过避免对扩散模型进行反向传播和繁琐的生成过程,大幅提高了计算效率。此外,我们提出一种在线模型适应策略,通过对齐原始模型预测与适应后输入的预测来实现。广泛的实验结果表明,CloudFixer 在各种 TTA 基线方法上均表现卓越,能够处理常见的噪声损坏和自然分布偏移,适用于多种真实场景。我们的代码已公开:https://github.com/shimazing/CloudFixer。
引用
@article{arxiv.2407.16193,
title = {CloudFixer: Test-Time Adaptation for 3D Point Clouds via Diffusion-Guided Geometric Transformation},
author = {Hajin Shim and Changhun Kim and Eunho Yang},
journal= {arXiv preprint arXiv:2407.16193},
year = {2024}
}
备注
32 pages; Accepted to ECCV2024