高效深度神经网络

深度神经网络（DNNs）的成功可归因于三方面因素：计算能力增强、模型更复杂以及数据更多。然而，这些因素并非总具备，尤其在自动驾驶、增强现实与物联网等边缘应用中。训练 DNNs 需要大量难以获取的数据。手机等边缘设备计算能力有限，因此需要专门且高效的 DNNs。但由于设计空间庞大且训练代价高昂，为不同目标设备设计高效 DNNs 颇具挑战。因此问题在于：在数据、计算能力与模型复杂度均受限的情况下，我们是否仍能成功应用深度神经网络？本学位论文聚焦于上述问题，并从四个层面提升深度神经网络的效率。模型效率：我们为多种计算机视觉任务设计了神经网络，实现了超过 10 倍的速度提升与更低的能耗。数据效率：我们开发了先进工具，使 LiDAR 点云标注速度提升 6.2 倍；并利用域适应以使用模拟数据，规避对真实数据的需求。硬件效率：我们对神经网络与硬件加速器进行协同设计，实现了 11.6 倍更快的推理。设计效率：寻找最优神经网络的过程耗时漫长。我们的自动化神经架构搜索算法以比先前搜索方法低 421 倍的计算代价，发现了具备 SOTA 精度与效率的模型。