DG-PIC:面向点云理解的领域泛化点-in-context 学习
计算机视觉与模式识别
2024-07-15 v1
摘要
近期的点云理解研究因不同领域间的分布迁移导致性能下降。尽管最近的研究采用领域泛化(DG)技术通过学习领域不变特征来缓解这一问题,但大多数方法为单一任务设计,忽视了测试数据的潜在价值。尽管In-Context Learning(ICL)显示出多任务学习能力,但通常依赖于高质量的上下文丰富数据且仅考虑单个数据集,在点云理解领域几乎未受到关注。本文提出一种新颖的、实际的多域多任务设置,旨在在一个统一模型中处理多个领域和多个任务,以实现领域泛化的点云理解。为此,我们提出领域泛化点-in-context学习(DG-PIC),以提升在测试时间跨越各种任务和领域的泛化能力。具体而言,我们开发了双层源原型估计,考虑全局层次的形状上下文和局部层次的几何结构,以表示源领域;同时开发了双层测试时特征偏移机制,利用宏观层次的领域语义信息和微观层次的 patch 位置关系,在测试期间将目标数据拉 Closer 到源数据。我们的DG-PIC无需在测试时进行模型更新,即可处理未见领域和点云重建、去噪和配准等多个任务。我们还引入了一个用于此新设置的基准。全面实验表明,DG-PIC显著优于最先进的技术。
关键词
引用
@article{arxiv.2407.08801,
title = {DG-PIC: Domain Generalized Point-In-Context Learning for Point Cloud Understanding},
author = {Jincen Jiang and Qianyu Zhou and Yuhang Li and Xuequan Lu and Meili Wang and Lizhuang Ma and Jian Chang and Jian Jun Zhang},
journal= {arXiv preprint arXiv:2407.08801},
year = {2024}
}
备注
Accepted to ECCV 2024