标签名即真言：跨异构数据集的点云分割统一
计算机视觉与模式识别
2023-03-21 v1
摘要
点云分割是 3D 视觉中的一项基础任务，服务于广泛的应用。尽管近年来取得了巨大进展，但其实用性仍受限于训练数据的可用性。由于不同数据集之间存在标签不匹配，现有方法无法充分利用手头的多个数据集。在本文中，我们提出了一种原则性方法，支持从具有不同标签集的异构数据集中进行学习。我们的想法是利用预训练语言模型，借助标签名将离散标签嵌入到连续的潜在空间中。这统一了不同数据集的所有标签，使得联合训练成为可行。同时，与具有固定解码器架构的现有方法相比，通过词汇表 token 在连续 3D 空间中对点进行分类，显著提高了模型的泛化能力。此外，我们还在框架中集成了提示学习，以缓解不同数据源之间的数据偏移。大量实验表明，我们的模型大幅优于现有最先进方法。
引用
@article{arxiv.2303.10585,
title = {Label Name is Mantra: Unifying Point Cloud Segmentation across Heterogeneous Datasets},
author = {Yixun Liang and Hao He and Shishi Xiao and Hao Lu and Yingcong Chen},
journal= {arXiv preprint arXiv:2303.10585},
year = {2023}
}
备注
11 pages, 5 figures