动态适配器结合提示微调：面向点云分析的参数高效迁移学习
计算机视觉与模式识别
2024-04-08 v2
摘要
通过迁移点云预训练模型，点云分析已取得出色的性能。然而，现有的模型适配方法通常更新所有模型参数，即全量微调范式，这由于依赖高计算成本（例如训练 GPU 内存）和海量存储空间而效率低下。在本文中，我们旨在研究点云分析的参数高效迁移学习，在任务性能与参数效率之间取得理想的折中。为实现此目标，我们冻结默认预训练模型的参数，然后提出动态适配器，其考虑 token 对下游任务的重要性，为每个 token 生成动态缩放。我们进一步通过构建内部提示将动态适配器与提示微调无缝结合，捕获实例特定的特征以进行交互。在五个具有挑战性的数据集上进行的大量实验表明，与全量微调方法相比，所提出的 DAPT 取得了更优的性能，同时将可训练参数和训练 GPU 内存分别显著减少了 95% 和 35%。代码可在 https://github.com/LMD0311/DAPT 获取。
引用
@article{arxiv.2403.01439,
title = {Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis},
author = {Xin Zhou and Dingkang Liang and Wei Xu and Xingkui Zhu and Yihan Xu and Zhikang Zou and Xiang Bai},
journal= {arXiv preprint arXiv:2403.01439},
year = {2024}
}
备注
Accepted to CVPR 2024. Code is available at https://github.com/LMD0311/DAPT