QUTE：面向模型监测的基于提前退出集成的 TinyML 不确定性量化
机器学习
2024-11-19 v2 计算机视觉与模式识别
摘要
不确定性量化 (UQ) 为在无法获取真实标签的情况下部署 tinyML 模型的设备端监测提供了一种资源高效的解决方案。然而，现有的 UQ 方法对内存和计算有显著需求，使其不适用于超低功耗、KB 级别的 TinyML 设备。先前的工作尝试通过使用提前退出集成在单次前向传播中量化不确定性以降低开销，但这些方法仍具有令人难以承受的成本。为解决此问题，我们提出了 QUTE，一种针对 tinyML 模型优化的新型资源高效、提前退出辅助的集成架构。QUTE 在基础网络的最终输出处引入了额外的输出块，将提前退出知识蒸馏到这些块中，以形成多样且轻量级的集成。我们表明，QUTE 在微型模型上提供了卓越的不确定性质量，在较大模型上实现了与最接近的先前工作相当的性能，且模型尺寸缩小了 59%。在微控制器上部署时，QUTE 的延迟平均降低了 31%。此外，我们表明 QUTE 在检测准确率下降事件方面表现出色，优于所有先前的工作。
引用
@article{arxiv.2404.12599,
title = {QUTE: Quantifying Uncertainty in TinyML with Early-exit-assisted ensembles for model-monitoring},
author = {Nikhil P Ghanathe and Steven J E Wilton},
journal= {arXiv preprint arXiv:2404.12599},
year = {2024}
}