基于分层记忆池的边缘半监督持续学习方法
机器学习
2023-03-22 v1
摘要
世界的持续变化导致神经网络出现性能退化。因此，持续学习（CL）领域逐渐吸引了更多研究者的关注。对于边缘智能而言，CL模型不仅需要克服灾难性遗忘，还需面对资源严重受限的巨大挑战：标注资源与强大设备的匮乏。然而，现有经典CL方法通常依赖大量标注样本来维持可塑性与稳定性，而半监督学习方法往往需为更高精度付出巨大的计算与内存开销。针对这些问题，本文将提出一种低成本的半监督CL方法——边缘分层记忆学习器（EdgeHML）。EdgeHML能有效利用大量无标注样本与少量标注样本。它基于分层记忆池，借助多级存储结构来存储与回放样本。EdgeHML通过在线与离线策略相结合实现不同层级间的交互。此外，为进一步降低无标注样本的计算开销，EdgeHML采用渐进式学习方法，通过控制学习过程来减少无标注样本的计算轮次。实验结果表明，在三项半监督CL任务上，EdgeHML相较经典CL方法最高可提升模型精度16.35%，且训练迭代时间相较半监督方法可减少50%以上。EdgeHML为边缘智能实现了高性能、低开销的半监督CL过程。
引用
@article{arxiv.2303.11952,
title = {Hierarchical Memory Pool Based Edge Semi-Supervised Continual Learning Method},
author = {Xiangwei Wang and Rui Han and Chi Harold Liu},
journal= {arXiv preprint arXiv:2303.11952},
year = {2023}
}
备注
in Chinese language