面向真实世界 corruptions 的点云识别的样本自适应增强
计算机视觉与模式识别
2023-09-20 v1
摘要
在 corruption 下的鲁棒3D感知已成为3D视觉领域的一项关键任务。当前的数据增强技术通常以离线方式对所有点云物体进行随机变换，并忽略样本的结构，导致增强过度或不足。在本工作中，我们提出一种替代方案，基于样本结构进行样本自适应变换，以通过名为AdaptPoint的自动增强框架应对潜在的 corruption。具体而言，我们利用一个模仿器，由变形控制器和掩码控制器组成，分别负责基于输入点云的内在结构信息预测变形参数和生成逐点掩码，随后在其上进行 corruption 模拟。然后使用判别器防止生成偏离原始数据分布的过度 corruption。此外，引入了感知引导反馈机制以引导生成具有适当难度级别的样本。进一步，为解决真实世界 corrupted 点云匮乏的问题，我们还引入了新的数据集ScanObjectNN-C，其与真实世界环境中的实际数据表现出更高相似性，尤其相较于此前的CAD数据集。实验表明，我们的方法在包括ModelNet-C、我们的ScanObjectNN-C和ShapeNet-C在内的多个 corruption 基准上取得了最先进结果。
引用
@article{arxiv.2309.10431,
title = {Sample-adaptive Augmentation for Point Cloud Recognition Against Real-world Corruptions},
author = {Jie Wang and Lihe Ding and Tingfa Xu and Shaocong Dong and Xinli Xu and Long Bai and Jianan Li},
journal= {arXiv preprint arXiv:2309.10431},
year = {2023}
}
备注
Accepted by ICCV2023; code: https://github.com/Roywangj/AdaptPoint