探究3D语义分割面临类别不平衡与OOD数据时的挑战
计算机视觉与模式识别
2022-03-02 v1 人工智能
摘要
3D语义分割（3DSS）是构建安全自动驾驶系统的关键过程。然而，用于3D语义分割的深度学习模型常受类别不平衡问题和分布外（OOD）数据的影响。在本研究中，我们探究类别不平衡问题如何影响3DSS性能，以及模型能否检测类别预测正确性，或数据是否为分布内（ID）或OOD。为此，我们使用三种代表性3DSS模型和五种信任评分方法进行了两组实验，并对每个类别进行了混淆分析与特征分析。此外，提出了一种针对3D LiDAR数据集的数据增强方法，基于SemanticKITTI和SemanticPOSS构建名为AugKITTI的新数据集。我们提出wPre指标和TSD以对结果进行更深入的分析，并随之给出带有深刻见解的讨论。基于实验结果，我们发现：（1）各类别不仅数据量不平衡，在各语义类别的基本属性上也不平衡。（2）类内多样性和类间歧义使类别学习困难，并极大限制模型性能，造成语义与数据鸿沟的挑战。（3）对于特征与其他类别混淆的类别，信任评分不可靠。对于3DSS模型，那些被误分类的ID类别和OOD也可能被赋予高信任评分，使3DSS预测不可靠，并导致判断3DSS结果可信性方面的挑战。所有这些结果指出了若干提升用于真实世界应用的3DSS模型性能与可靠性的研究方向。
引用
@article{arxiv.2203.00214,
title = {Understanding the Challenges When 3D Semantic Segmentation Faces Class Imbalanced and OOD Data},
author = {Yancheng Pan and Fan Xie and Huijing Zhao},
journal= {arXiv preprint arXiv:2203.00214},
year = {2022}
}