DEX：面向Tiny AI加速器的高效CNN推理的数据通道扩展
机器学习
2024-12-10 v1
摘要
TinyML旨在小型设备上运行机器学习模型，因其增强的隐私性、降低的延迟和低成本而日益受到青睐。最近，tiny AI加速器的出现通过显著提升硬件处理能力彻底改变了TinyML领域。这些加速器配备多个并行处理器和专用的每处理器内存实例，相比传统微控制器单元（MCU）提供了显著的性能提升。然而，其有限的数据内存常常需要对输入图像进行下采样，从而导致精度下降。为应对这一挑战，我们提出了数据通道扩展（DEX），一种在tiny AI加速器上高效执行CNN的新方法。DEX通过逐块均匀采样和逐通道堆叠，将原始图像中的额外空间信息融入输入图像，有效地扩展了输入通道的数据。通过利用未充分利用的处理器和数据内存进行通道扩展，DEX促进了并行执行且不增加推理延迟。我们在四个模型和四个数据集上对tiny AI加速器进行的评估表明，这一简单想法平均将精度提升了3.5个百分点，同时保持了AI加速器上的推理延迟不变。源代码可在 https://github.com/Nokia-Bell-Labs/data-channel-extension 获取。
引用
@article{arxiv.2412.06566,
title = {DEX: Data Channel Extension for Efficient CNN Inference on Tiny AI Accelerators},
author = {Taesik Gong and Fahim Kawsar and Chulhong Min},
journal= {arXiv preprint arXiv:2412.06566},
year = {2024}
}
备注
Accepted to NeurIPS 2024