面向概念漂移的微缩机器学习
机器学习
2021-08-02 v1
摘要
微缩机器学习（TML）是一个新的研究领域，其目标是设计能够在嵌入式系统与 IoT 单元中运行的机器与深度学习技术，从而满足这些普适设备对内存、计算和能耗的严苛技术约束。有趣的是，相关文献主要关注降低机器与深度学习模型推理阶段的计算与内存需求。同时，训练通常被假定在云或边缘计算系统中进行（由于更大的内存与计算需求）。这一假设导致 TML 方案在生成数据的过程受概念漂移影响时（例如由于周期性或季节性效应、影响传感器或执行器的故障或失灵、或用户行为变化）可能变得过时，而这是真实应用场景中的常见情况。本文在文献中首次提出一种基于深度学习特征提取器与 k 近邻分类器的面向概念漂移的微缩机器学习（TML-CD）方案，其集成了能够处理影响数据生成过程的概念漂移的混合适应模块。该适应模块以被动方式持续更新 TML-CD 的知识库，同时采用变化检测检验主动监测变化，以通过移除过时知识快速适应概念漂移。在图像与音频基准上的实验结果显示了所提方案的有效性，而将 TML-CD 移植到三款现成微控制器单元则展示了其在真实普适系统中的可行性。
引用
@article{arxiv.2107.14759,
title = {Tiny Machine Learning for Concept Drift},
author = {Simone Disabato and Manuel Roveri},
journal= {arXiv preprint arXiv:2107.14759},
year = {2021}
}
备注
Submitted to Transactions on Neural Networks and Learning Systems