LSK3DNet：利用大型稀疏卷积核实现高效且有效的三维感知
计算机视觉与模式识别
2024-03-25 v1
摘要
自主系统需要在有限的计算资源下处理大规模、稀疏且不规则的点云。因此，开发既高效又有效的激光雷达感知方法至关重要。尽管单纯增大三维卷积核尺寸可以提升性能，但这也会导致计算开销呈立方级增长。因此，开发精简的三维大核设计，消除冗余权重并使其在大核下有效工作，显得尤为关键。本文提出了一种高效且有效的大型稀疏核三维神经网络（LSK3DNet），该网络利用动态剪枝来扩大三维卷积核尺寸。我们的方法包含两个核心组件：空间维度动态稀疏性（SDS）和通道维度权重选择（CWS）。SDS从一开始就动态地剪枝和再生体素权重，以学习一个大型稀疏三维卷积核。这不仅提升了性能，还显著减小了模型尺寸和计算成本。此外，CWS在训练过程中为三维卷积选择最重要的通道，随后剪枝冗余通道以加速三维视觉任务的推理。我们在三个基准数据集和五个赛道上，与经典模型及大核设计进行了对比，验证了LSK3DNet的有效性。值得注意的是，LSK3DNet在SemanticKITTI上达到了最先进的性能（单次扫描75.6%，多次扫描63.4%），与朴素的大型三维核模型相比，模型尺寸减少约40%，计算操作减少约60%。
引用
@article{arxiv.2403.15173,
title = {LSK3DNet: Towards Effective and Efficient 3D Perception with Large Sparse Kernels},
author = {Tuo Feng and Wenguan Wang and Fan Ma and Yi Yang},
journal= {arXiv preprint arXiv:2403.15173},
year = {2024}
}
备注
Accepted at CVPR 2024; Project page: https://github.com/FengZicai/LSK3DNet