LargeKernel3D：在3D稀疏CNN中扩大卷积核
计算机视觉与模式识别
2023-03-23 v2 机器学习
摘要
近期2D CNN的进展表明大卷积核十分重要。然而，当直接将大卷积核应用于3D CNN时遇到了严重困难，那些在2D上成功的模块设计（包括流行的深度可分离卷积）在3D网络上出人意料地无效。为解决这一关键挑战，我们转而提出空间划分卷积及其大核模块。由此，它避免了朴素3D大核的优化与效率问题。我们的大核3D CNN网络LargeKernel3D在语义分割和物体检测的3D任务上取得了显著提升。它在ScanNetv2语义分割上达到73.9% mIoU，在nuScenes物体检测基准上达到72.8% NDS，在nuScenes LIDAR排行榜上排名第1。通过简单的多模态融合，性能进一步提升至74.2% NDS。此外，LargeKernel3D可扩展到Waymo 3D物体检测上的17x17x17核大小。我们首次表明大核对于3D视觉任务是可行且必要的。
引用
@article{arxiv.2206.10555,
title = {LargeKernel3D: Scaling up Kernels in 3D Sparse CNNs},
author = {Yukang Chen and Jianhui Liu and Xiangyu Zhang and Xiaojuan Qi and Jiaya Jia},
journal= {arXiv preprint arXiv:2206.10555},
year = {2023}
}
备注
In CVPR 2023. Code is at https://github.com/dvlab-research/LargeKernel3D