TorchSparse：高效点云推理引擎
机器学习
2022-04-22 v1 计算机视觉与模式识别
性能
摘要
得益于在 AR/VR 与自动驾驶中的广泛应用，点云上的深度学习受到了越来越多的关注。这些应用需要低延迟与高精度，以提供实时用户体验并保障用户安全。与传统的稠密负载不同，点云稀疏且不规则的特性给在通用硬件上高效运行稀疏 CNN 带来了严峻挑战。此外，现有的针对 2D 图像的稀疏加速技术无法迁移到 3D 点云。本文中，我们介绍 TorchSparse，一种在 GPU 上加速稀疏卷积计算的高性能点云推理引擎。TorchSparse 直接优化稀疏卷积的两个瓶颈：不规则计算与数据搬移。它采用自适应矩阵乘法分组以用计算换取更好的规则性，为矩阵乘法带来 1.4-1.5 倍加速。它还通过采用向量化、量化与融合的局部性感知内存访问来优化数据搬移，将内存搬移代价降低 2.7 倍。在三个基准数据集上的七个代表性模型评估中，TorchSparse 相较最先进的 MinkowskiEngine 与 SpConv 分别实现了 1.6 倍与 1.5 倍的实测端到端加速。
引用
@article{arxiv.2204.10319,
title = {TorchSparse: Efficient Point Cloud Inference Engine},
author = {Haotian Tang and Zhijian Liu and Xiuyu Li and Yujun Lin and Song Han},
journal= {arXiv preprint arXiv:2204.10319},
year = {2022}
}
备注
MLSys 2022. The first three authors contributed equally to this work. Project page: https://torchsparse.mit.edu