给3D空间稀疏网络瘦身
计算机视觉与模式识别
2022-04-11 v2
摘要
3D神经网络已广泛应用于众多3D视觉任务，包括目标检测、分割、配准以及各类针对3D输入的感知任务。然而，由于3D数据的稀疏性与不规则性，定制的3D算子或网络设计一直是研究重点，而网络规模或参数效率却被忽视。本工作中，我们对空间稀疏3D卷积网络的权重稀疏性进行了首次全面研究，并提出了一种紧凑的权重稀疏且空间稀疏的3D卷积网络(WS^3-Convnet)，用于真实世界室内外数据集上的语义与实例分割。我们采用多种网络剪枝策略寻找紧凑网络，并展示我们的WS^3-Convnet以数量级更少的参数(99%压缩率)和计算成本(95%降低)实现了最小的性能损失(下降2.15%)。最后，我们系统性分析了WS^3-Convnet的压缩模式，展示了压缩网络中常见的有趣涌现稀疏模式，以进一步加速推理(快45%)。\keywords{高效网络架构, 网络剪枝, 3D场景分割, 空间稀疏卷积}
引用
@article{arxiv.2112.01316,
title = {Putting 3D Spatially Sparse Networks on a Diet},
author = {Junha Lee and Christopher Choy and Jaesik Park},
journal= {arXiv preprint arXiv:2112.01316},
year = {2022}
}