通过转换教师模型知识实现边缘端半监督在线学习
机器学习
2025-12-19 v1 人工智能
摘要
边缘机器学习(Edge ML)使能够利用分布在网络边缘的大规模数据训练ML模型。然而，许多现有方法假设中心训练静态模型后部署，因而对未遇到的新数据效果不佳。为此，Online Edge ML允许模型在边缘设备上直接训练并与新数据持续更新。本文探讨了Online Edge ML的关键挑战：如何为真正未来、不可见的数据点确定标签。我们提出了知识转换(KT)方法，融合知识蒸馏、主动学习与因果推理。简言之，KT作为主动学习中的oracle，通过转换来自教师模型的知识为训练学生模型生成伪标签。为验证方法有效性，我们进行了两个模拟实验设置：(1) 使用不够稳定的教师模型，(2) 使用相对更稳定的教师模型。结果表明，当提供稳定的教师模型时，学生模型最终可达到其预期的最大性能。KT在以下情形下具有潜在优势：(1)当教师的任务是通用的，这意味着现有的预训练模型可能足够用于其任务，因此无需从头训练教师模型；和/或(2)当学生任务的标签难以获取或成本较高时。
引用
@article{arxiv.2512.16866,
title = {Semi-Supervised Online Learning on the Edge by Transforming Knowledge from Teacher Models},
author = {Jiabin Xue},
journal= {arXiv preprint arXiv:2512.16866},
year = {2025}
}