物联网中大模型的分层知识蒸馏：架构、挑战与解决方案
机器学习
2025-01-30 v1 人工智能
摘要
大型模型（LMs）在物联网（IoT）系统中具有巨大的潜力，使能够实现智能语音助手、预测性维护和健康监测等应用。然而，在边缘服务器上训练LMs会引发数据隐私 concerns，而直接在IoT设备上部署则受限于有限的计算和内存资源。我们分析了训练IoT系统中LMs的关键挑战，包括能源约束、延迟要求和设备异构性，并提出了潜在解决方案，如动态资源管理、自适应模型分区和聚类式协作训练。此外，我们提出了一种分层知识蒸馏框架，用于高效地将LMs蒸馏为更小的可部署版本，以适用于IoT设备，同时确保原始数据保持本地。该框架集成了知识蒸馏和split learning，以最小化能源消耗并满足低模型训练延迟要求。本文还提出了一个案例研究，以评估所提出框架的可行性和性能。
引用
@article{arxiv.2501.17164,
title = {Split Knowledge Distillation for Large Models in IoT: Architecture, Challenges, and Solutions},
author = {Zuguang Li and Wen Wu and Shaohua Wu and Qiaohua Lin and Yaping Sun and Hui Wang},
journal= {arXiv preprint arXiv:2501.17164},
year = {2025}
}
备注
7 pages, 4figures, 2 tables, and 15 conference