QuartDepth：用于边缘端实时深度估计的后训练量化
计算机视觉与模式识别
2025-03-24 v1 人工智能
摘要
单目深度估计（MDE）已成为计算机视觉中的关键任务，支持众多现实世界应用。然而，将精确的深度估计模型部署在资源受限的边缘设备上，尤其是专用集成电路（ASIC）上，由于高计算和内存需求而具有挑战性。近期基础深度估计的进展取得了令人印象深刻的结果，但进一步加大了在 ASIC 上部署的难度。为此，我们提出 QuartDepth，采用后训练量化对 MDE 模型进行量化以在 ASIC 上实现硬件加速。我们的方法涉及将权重和激活值均量化为 4 位精度，从而减小模型大小和计算成本。为缓解性能退化，我们在激活量化前后引入了激活值抛光与补偿算法，以及一种用于最小化权重量化误差的权重重构方法。此外，我们设计了一个灵活且可编程的硬件加速器，通过支持核融合和定制指令可编程性来提升吞吐量和效率。实验结果表明，我们的框架在保持竞争力的精度的同时，在 ASIC 上实现了快速推理和更高的能效，弥合了高性能深度估计与实际边缘设备适用性之间的差距。代码：https://github.com/shawnricecake/quart-depth
引用
@article{arxiv.2503.16709,
title = {QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge},
author = {Xuan Shen and Weize Ma and Jing Liu and Changdi Yang and Rui Ding and Quanyi Wang and Henghui Ding and Wei Niu and Yanzhi Wang and Pu Zhao and Jun Lin and Jiuxiang Gu},
journal= {arXiv preprint arXiv:2503.16709},
year = {2025}
}
备注
Accepted by CVPR 2025