PVNAS：基于点-体素卷积的三维神经架构搜索
计算机视觉与模式识别
2022-04-27 v2 机器学习
摘要
三维神经网络广泛应用于现实应用（如 AR/VR 头显、自动驾驶汽车）。它们需具备快速与准确；然而，边缘设备上有限的硬件资源使这些要求颇具挑战。先前工作使用基于体素或基于点的神经网络处理三维数据，但这两类三维模型均因大内存占用与随机内存访问而硬件效率低下。本文从效率视角研究三维深度学习。我们首先系统分析先前三维方法的瓶颈。随后将基于点与基于体素模型的最优之处结合，提出一种新颖的硬件高效三维基元——点-体素卷积（PVConv）。我们进一步用稀疏卷积增强该基元，使其在处理大型（室外）场景时更有效。基于所设计的三维基元，我们引入三维神经架构搜索（3D-NAS）以在资源约束下探索最佳三维网络架构。我们在六个代表性基准数据集上评估所提方法，以 1.8-23.7 倍实测加速取得 SOTA 性能。此外，我们的方法已部署于 MIT Driverless 的自动驾驶赛车，实现了更大检测范围、更高精度与更低延迟。
引用
@article{arxiv.2204.11797,
title = {PVNAS: 3D Neural Architecture Search with Point-Voxel Convolution},
author = {Zhijian Liu and Haotian Tang and Shengyu Zhao and Kevin Shao and Song Han},
journal= {arXiv preprint arXiv:2204.11797},
year = {2022}
}
备注
Journal extension of arXiv:1907.03739 and arXiv:2007.16100 (IEEE TPAMI, 2021). The first two authors contributed equally to this work