面向边缘端持续学习的高效模型适配
机器学习
2023-10-17 v2 人工智能
计算机视觉与模式识别
摘要
大多数机器学习（ML）系统假设训练与部署期间数据分布平稳且匹配。这常是一个错误假设。当ML模型部署于真实设备时，由于环境因素、传感器特性及关注任务的变化，数据分布常随时间偏移。虽然可以让人介入监控分布偏移并针对这些偏移设计新架构，但此类设置并不具成本效益。相反，需要非平稳的自动化ML（AutoML）模型。本文提出编码器-适配器-重构器（EAR）框架，用于域偏移下的高效持续学习。EAR框架使用固定的深度神经网络（DNN）特征编码器，并在编码器之上训练浅层网络以处理新数据。EAR框架能够：1）通过将DNN与超维计算（HDC）结合，检测新数据是否为分布外（OOD）；2）利用零样本神经架构搜索（ZS-NAS）识别低参数神经适配器使模型适配OOD数据；3）通过按需渐进增长神经架构并动态将数据路由至适当的适配器与重构器，最小化先前任务的灾难性遗忘，以处理域增量与类增量持续学习。我们在多个域适配基准数据集上系统评估了该方法，并在OOD检测与少样本/零样本NAS方面展现出优于最先进算法的强劲性能。
引用
@article{arxiv.2308.02084,
title = {Efficient Model Adaptation for Continual Learning at the Edge},
author = {Zachary A. Daniels and Jun Hu and Michael Lomnitz and Phil Miller and Aswin Raghavan and Joe Zhang and Michael Piacentino and David Zhang},
journal= {arXiv preprint arXiv:2308.02084},
year = {2023}
}
备注
Unpublished White Paper