三维点云物体的零样本学习及更广泛应用
计算机视觉与模式识别
2021-04-13 v1
摘要
零样本学习（Zero-shot learning, ZSL）即学习识别训练时未见过的新类别，在 2D 图像分类中已受到相当关注。然而，尽管 3D 传感器日益普及，相应的 3D 点云分类问题尚未得到实质性探索，并带来了新的挑战。本文中，我们明确了其中若干挑战，并将 2D 零样本学习（ZSL）方法应用于 3D 领域以分析现有模型的性能。随后，我们提出一种新方法来解决 3D ZSL 特有的问题。我们首先给出归纳式 ZSL 流程，并将其扩展至直推式 ZSL 与广义 ZSL（GZSL）设定下的 3D 点云分类。为此，设计了一种新的损失函数，其同时对齐已见语义与点云特征，并利用无标签测试数据以解决一些已知问题（例如域适应、中心化及数据偏置问题）。尽管该方法针对 3D 点云分类的特性而设计，其亦被证明适用于更常见的 2D 图像分类用例。我们进行了大量实验，在合成（ModelNet40、ModelNet10、McGill）与真实（ScanObjectNN）3D 点云数据集上确立了 ZSL 与 GZSL 的 SOTA。
引用
@article{arxiv.2104.04980,
title = {Zero-Shot Learning on 3D Point Cloud Objects and Beyond},
author = {Ali Cheraghian and Shafinn Rahman and Townim F. Chowdhury and Dylan Campbell and Lars Petersson},
journal= {arXiv preprint arXiv:2104.04980},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:1912.07161