中文

基于去噪扩散模型的3D点云测试时适应

计算机视觉与模式识别 2024-11-25 v1

摘要

3D点云的测试时适应对于缓解现实场景中训练与测试样本之间的差异至关重要,尤其是处理受损点云时。激光雷达数据可能受到传感器故障或环境因素的影响,导致域间差距。针对这些分布迁移在线适应至关重要,因为为每种可能的变体进行训练是不可行的。现有方法通常侧重于基于自监督学习或伪标签化的微调预训练模型,这可能导致随时间流逝而忘记有价值的源域知识,从而降低对未来测试的泛化能力。本文提出一种新颖的3D测试时适应方法,称为3DD-TTA,即3D去噪扩散测试时适应。该方法采用扩散策略,将输入点云样本适应源域,同时保持源模型参数不变。该方法使用变分自编码器(VAE)将受损点云编码为形状潜在变量和潜在点。这些潜在点被添加高斯噪声并经过去噪扩散过程。在此过程中,形状潜在变量和潜在点都被更新,以保持保真度,引导去噪生成更符合源域一致的样本。我们在ShapeNet数据集上进行大量实验,并在ModelNet40和ScanObjectNN上验证其通用性,取得了状态的最佳成绩。代码已发布于\url{https://github.com/hamidreza-dastmalchi/3DD-TTA}。

关键词

引用

@article{arxiv.2411.14495,
  title  = {Test-Time Adaptation of 3D Point Clouds via Denoising Diffusion Models},
  author = {Hamidreza Dastmalchi and Aijun An and Ali Cheraghian and Shafin Rahman and Sameera Ramasinghe},
  journal= {arXiv preprint arXiv:2411.14495},
  year   = {2024}
}

备注

Accepted to WACV 2025 (Winter Conference on Applications of Computer Vision)