中文

Point-PRC:一种用于可泛化点云分析的基于提示学习的调节框架

计算机视觉与模式识别 2025-01-17 v3

摘要

本文基于流行的提示学习研究大型 3D 模型的 3D 域泛化 (3DDG) 能力。近期工作表明,通过参数高效的提示微调可以显著提升 3D 点云识别的性能。然而,我们观察到在下游任务上的提升是以 3D 域泛化能力严重下降为代价的。为解决这一挑战,我们提出了一个综合的调节框架,使可学习提示能够主动与大型 3D 模型中已学习到的通用知识进行交互,从而保持良好的泛化能力。具体而言,所提框架通过最大化特定任务预测与任务无关知识之间的互一致性,对提示学习轨迹施加了多个显式约束。我们将该调节框架设计为即插即用模块,以嵌入现有的代表性大型 3D 模型。令人惊讶的是,我们的方法不仅在各种 3DDG 基准上实现了持续提升的泛化能力,还以明显优势增强了特定任务的 3D 识别性能。鉴于目前对 3DDG 的研究与评估不足,我们还创建了三个新基准,即 base-to-new、跨数据集和少样本泛化基准,以丰富该领域并启发未来研究。代码和基准可在 \url{https://github.com/auniquesun/Point-PRC} 获取。

关键词

引用

@article{arxiv.2410.20406,
  title  = {Point-PRC: A Prompt Learning Based Regulation Framework for Generalizable Point Cloud Analysis},
  author = {Hongyu Sun and Qiuhong Ke and Yongcai Wang and Wang Chen and Kang Yang and Deying Li and Jianfei Cai},
  journal= {arXiv preprint arXiv:2410.20406},
  year   = {2025}
}

备注

5 figures, 14 tables; accepted by NeurIPS 2024