预训练3D点云模型的鲁棒微调
计算机视觉与模式识别
2024-04-26 v1
摘要
本文提出一种针对预训练3D点云模型的鲁棒微调方法，以增强下游微调模型的特征鲁棒性。我们指出了当前微调方法的局限性以及学习鲁棒模型的挑战。所提出的方法名为Weight-Space Ensembles for Fine-Tuning then Linear Probing (WiSE-FT-LP)，通过权重空间集成后进行线性探测，整合了原始预训练和微调模型。该方法显著提升了在下游分布偏移下微调模型的性能，增强了特征鲁棒性，同时保持目标分布上的高性能。我们将此鲁棒微调方法应用于主流的3D点云预训练模型，并评估了模型参数的质量和下游任务性能的退化。实验结果表明WiSE-FT-LP在增强模型鲁棒性方面的有效性，在不改变模型结构的情况下，有效平衡了下游任务性能和模型特征鲁棒性。
引用
@article{arxiv.2404.16422,
title = {Robust Fine-tuning for Pre-trained 3D Point Cloud Models},
author = {Zhibo Zhang and Ximing Yang and Weizhong Zhang and Cheng Jin},
journal= {arXiv preprint arXiv:2404.16422},
year = {2024}
}
备注
9 pages, 5 figures