面向边缘设备的TinyML优化：Transformer与Mamba模型的量化与蒸馏用于室内定位
机器学习
2024-12-13 v1 软件工程
摘要
本文提出了面向资源受限边缘设备的小型高效机器学习模型（TinyML）， specifically for on-device indoor localisation。典型的室内定位方法依赖于集中式远程处理来分析来自低功耗设备（如可穿戴器件）传输的数据。然而，这些方法存在若干优势：包括延长电池寿命、增强隐私、降低延迟以及降低运营成本，这些都是常见应用（如健康监测）的关键因素。本文聚焦于模型压缩技术，包括量化和知识蒸馏，以显著减小模型规模，同时保持高预测性能。我们基于大型 state-of-the-art transformer模型，寻求在低功耗 MCU 上部署。我们还提出了基于状态空间的架构，使用Mamba作为transformer更紧凑的替代方案。我们的结果表明，量化后的transformer模型能在64 KB RAM的限制下实现出色的性能，在模型规模与定位精度之间取得有效平衡。此外，在更严苛的32 KB RAM限制下，紧凑的Mamba模型也能实现强大的性能，无需额外的模型压缩，成为更受资源受限环境的可行选择。我们展示了通过本框架，可在内存受限的低功耗 MCU 上部署先进的室内定位模型。将这些TinyML模型应用于健康领域，有望通过提供准确的实时位置数据，同时最小化功耗、增加数据隐私、改善延迟和降低基础设施成本，来革命化患者监护。
引用
@article{arxiv.2412.09289,
title = {Optimising TinyML with Quantization and Distillation of Transformer and Mamba Models for Indoor Localisation on Edge Devices},
author = {Thanaphon Suwannaphong and Ferdian Jovan and Ian Craddock and Ryan McConville},
journal= {arXiv preprint arXiv:2412.09289},
year = {2024}
}