一种用于微调 3D 基础模型的无适配器方法
计算机视觉与模式识别
2026-03-26 v1
摘要
点云基础模型展现出强大的泛化能力，但在低数据场景下将其适配到下游任务仍然具有挑战性。全量微调通常会导致过拟合和与预训练表示的显著偏离，而现有的参数高效微调（PEFT）方法通过引入额外的可训练组件来缓解这个问题，但代价是增加了推理时的延迟。我们提出了动量一致性微调（MCFT），一种无适配器的方法，弥合了全量微调和参数高效微调之间的差距。MCFT 选择性地微调预训练编码器的一部分，同时强制执行基于动量的一致性约束以保留与任务无关的表示。与 PEFT 方法不同，MCFT 除了标准的任务头之外，不引入额外的表示学习参数，保持了原始模型的参数数量和推理效率。我们进一步扩展了 MCFT 的两个变体：一个半监督框架，利用丰富的未标记数据来增强少样本性能；以及一个基于剪枝的变体，通过结构化层移除来提高计算效率。在物体识别和零件分割基准上的大量实验表明，MCFT 持续优于先前的方法，在 5-shot 设置中实现了 3.30% 的提升，在半监督学习下实现了高达 6.13% 的提升，同时非常适合资源受限的部署。
引用
@article{arxiv.2603.23730,
title = {An Adapter-free Fine-tuning Approach for Tuning 3D Foundation Models},
author = {Sneha Paul and Zachary Patterson and Nizar Bouguila},
journal= {arXiv preprint arXiv:2603.23730},
year = {2026}
}
备注
Accepted at The Fifth International Conference on Pattern Recognition and Artificial Intelligence (ICPRAI 2026)