RobustPointSet:用于基准测试点云分类器鲁棒性的数据集
计算机视觉与模式识别
2021-04-19 v5
摘要
过去几年中,3D 深度学习社区在点云处理方面取得了显著进展。然而,深度模型所训练的数据集在很大程度上保持不变。大多数数据集包含经过位姿规范化的干净、无杂波点云。在这些数据集上训练的模型,当遇到训练时“未见过”的包含变换的数据时,会以不可解释且反直觉的方式失败。虽然数据增强使模型对“先前见过”的输入变换具有鲁棒性,但 1) 我们表明这对推理时未见的变换不起作用,且 2) 数据增强使得分析模型对变换的固有鲁棒性变得困难。为此,我们创建了一个公开可用的、用于点云分类模型(独立于数据增强)对输入变换鲁棒性分析的数据集,称为 RobustPointSet。我们的实验表明,尽管点云分类取得了诸多进展,但在变换后的测试集上评估时,并没有一种架构能持续表现更好——其中几种会严重失败。我们还发现,仅靠广泛的数据增强无法带来对未见变换的鲁棒性。RobustPointSet 可通过 https://github.com/AutodeskAILab/RobustPointSet 访问。
引用
@article{arxiv.2011.11572,
title = {RobustPointSet: A Dataset for Benchmarking Robustness of Point Cloud Classifiers},
author = {Saeid Asgari Taghanaki and Jieliang Luo and Ran Zhang and Ye Wang and Pradeep Kumar Jayaraman and Krishna Murthy Jatavallabhula},
journal= {arXiv preprint arXiv:2011.11572},
year = {2021}
}
备注
Published at the Robust and Reliable Machine Learning in the Real World Workshop, ICLR 2021