谱域参数高效微调：用于点云学习的 PointGST 方法
计算机视觉与模式识别
2025-07-29 v2
摘要
最近，利用预训练技术来增强点云模型成为热门研究主题。然而，现有方法通常需要对预训练模型进行完整微调才能在下游任务上获得满意性能，这既占用大量存储资源，又计算负担沉重。为此，本文提出一种新颖的参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法，用于点云，称为 PointGST（Point cloud Graph Spectral Tuning）。PointGST 冻结预训练模型，引入轻量级可训练点云谱适配器（Point Cloud Spectral Adapter, PCSA）进行谱域微调。核心思想基于两个观察：1）冻结模型的内部 token 在空间域中可能存在混淆；2）任务特定的内在信息对将通用知识传递到下游任务至关重要。具体而言，PointGST 将点 token 从空间域传递到谱域，通过正交分量实现 token 间混淆的有效去相关。此外，生成的谱基涉及下游点云的内在信息，实现更有针对性的调优。因此，PointGST 在显著降低训练成本的同时，促进了通用知识向下游任务的高效传递。广泛在具有挑战性的点云数据集上进行的实验表明，PointGST 不仅优于其完整微调等价方法，而且大幅减少了可训练参数，成为点云学习的高效解决方案。代码将在 https://github.com/jerryfeng2003/PointGST 公开。
引用
@article{arxiv.2410.08114,
title = {Parameter-Efficient Fine-Tuning in Spectral Domain for Point Cloud Learning},
author = {Dingkang Liang and Tianrui Feng and Xin Zhou and Yumeng Zhang and Zhikang Zou and Xiang Bai},
journal= {arXiv preprint arXiv:2410.08114},
year = {2025}
}
备注
Accepted by IEEE TPAMI. The code will be made available at https://github.com/jerryfeng2003/PointGST