用于三维点云理解的参数高效提示学习
计算机视觉与模式识别
2024-02-27 v1
摘要
本文提出了一种名为 PPT 的参数高效提示微调方法，用于适配大型多模态模型以进行三维点云理解。现有策略在计算和存储方面成本高昂，且依赖耗时的提示工程。我们从三个方面解决这些问题。首先，设计了 PromptLearner 模块，用可学习的上下文替换手工制作的提示，以实现提示微调过程的自动化。其次，我们锁定预训练骨干网络，而非采用全量微调范式，从而显著提高参数效率。最后，在目标任务附近部署轻量级的 PointAdapter 模块，以增强针对三维点云理解的提示微调。综合实验证明了该方法在参数和数据效率方面的优越性。同时，我们在 4 个公共数据集和多项三维任务（即点云识别、少样本学习和部件分割）上取得了新纪录。代码实现见 https://github.com/auniquesun/PPT。
引用
@article{arxiv.2402.15823,
title = {Parameter-efficient Prompt Learning for 3D Point Cloud Understanding},
author = {Hongyu Sun and Yongcai Wang and Wang Chen and Haoran Deng and Deying Li},
journal= {arXiv preprint arXiv:2402.15823},
year = {2024}
}
备注
9 pages, 5 figures, 6 tables; accepted by ICRA 2024