MiCo：面向边缘AI的端到端混合精度神经网络协探索框架
机器学习
2025-08-14 v1 硬件体系结构
摘要
极低位宽数据的量化神经网络（QNN）在边缘设备的高效存储和计算方面已被证明具有前景。为进一步减少精度损失并提高加速比，逐层混合精度量化（MPQ）成为流行解决方案。然而，现有用于探索MPQ方案的算法在灵活性和效率方面受限。理解不同MPQ方案对后训练量化和量化感知训练的复杂影响是常规方法的一个挑战。此外，现有工作中缺乏针对MPQ模型的优化和部署的端到端框架。本文提出了MiCo框架，一个用于边缘AI应用的全方位MPQ探索和部署框架。该框架采用新颖的优化算法，在满足延迟约束的前提下搜索具有最高准确率的量化方案。为不同硬件目标构建硬件感知的延迟模型，以实现快速探索。探索后，该框架支持从PyTorch MPQ模型直接部署到裸机C代码，实现端到端的加速并保持最小的精度损失。
引用
@article{arxiv.2508.09500,
title = {MiCo: End-to-End Mixed Precision Neural Network Co-Exploration Framework for Edge AI},
author = {Zijun Jiang and Yangdi Lyu},
journal= {arXiv preprint arXiv:2508.09500},
year = {2025}
}
备注
9 pages, 6 figures, accepted by ICCAD'25