面向三维点云语义与实例分割的代表性原型学习与记忆
计算机视觉与模式识别
2020-01-07 v1
摘要
三维点云语义与实例分割对三维场景理解至关重要且是基础性的。由于复杂的结构，点集分布不平衡且多样，表现为类别不平衡与模式不平衡。因此，深度网络在学习过程中容易遗忘非主导情形，导致性能不佳。尽管重加权可降低已被良好分类样本的影响，但它们无法处理动态训练中的非主导模式。本文提出一种记忆增强网络，以学习并记忆覆盖多样样本的具有代表性的原型。具体而言，引入记忆模块，通过记录小批量训练中出现的模式来缓解遗忘问题。所学记忆项持续反映主导与非主导类别及情形的可解释且有意义的信息。由此，失真观测与罕见情形可通过检索所存原型得以增强，从而获得更好的性能与泛化能力。在基准 S3DIS 与 ScanNetV2 上的详尽实验反映了我们的方法在有效性与效率上的优越性。不仅总体精度，非主导类别也得到显著提升。
引用
@article{arxiv.2001.01349,
title = {Learning and Memorizing Representative Prototypes for 3D Point Cloud Semantic and Instance Segmentation},
author = {Tong He and Dong Gong and Zhi Tian and Chunhua Shen},
journal= {arXiv preprint arXiv:2001.01349},
year = {2020}
}