SNAP-UQ：基于单次前向传播的 TinyML 自监督下一激活预测方法
机器学习
2026-02-19 v4 计算与语言
摘要
可靠的不确定性估计是 TinyML 上设备监控中关键缺失的环节：微控制器必须在严格的存储和延迟预算下检测故障、分布迁移或准确率下降，但常见的不确定性方法（深度集成、MC dropout、早期退出、时序缓冲）通常需要多次前向传播、额外分支或不实用的状态，在毫瓦级硬件上难以实现。本文提出一种新颖且实用的单次前向传播、无标签不确定性估计方法——SNAP-UQ，基于深度级次下一激活预测。SNAP-UQ 采用小规模 backbone 层并使用微型 int8 头从前一层的低秩投影中预测下一激活的均值和尺度； resulting 标准化预测误差形成深度级次的惊讶信号，该信号被聚合并通过轻量级单调校准器映射为可操作的不确定性分数。该设计不引入时序缓冲或辅助退出，保持无状态推理，同时仅增加几十 KB 的部署存储开销。在视觉和音频 backbone 上，SNAP-UQ 相对于早期退出和深度集成基线， flash 和延迟分别降低约 40%--60% 和 25%--35%，而多数竞争方法在类似准确率下常常超出 MCU 内存限制。在受损数据流上，它将准确率下降事件检测提升多个 AUPRC 分数，在单次前向传播中保持约 0.9 的强故障检测能力（AUROC）。通过将不确定性根植于层间动态而非仅靠输出置信度，SNAP-UQ 为稳健的 TinyML 监控提供了一种新颖且资源高效的基础。我们的代码已公开：https://github.com/Ism-ail11/SNAP-UQ
引用
@article{arxiv.2508.12907,
title = {SNAP-UQ: Self-supervised Next-Activation Prediction for Single-Pass Uncertainty in TinyML},
author = {Ismail Lamaakal and Chaymae Yahyati and Khalid El Makkaoui and Ibrahim Ouahbi and Yassine Maleh},
journal= {arXiv preprint arXiv:2508.12907},
year = {2026}
}
备注
Published as a conference paper at ICLR 2026