DiReDi：面向 AIoT 应用的蒸馏与反向蒸馏
机器学习
2024-09-16 v1 人工智能
分布式、并行与集群计算
摘要
通常，在各种真实世界场景中部署不同的边缘 AI 模型可以实现显著的效率，同时少数大型模型从云服务器远程管理这些边缘 AI 模型。然而，为每个用户的特定应用定制边缘 AI 模型或将当前模型扩展到新的应用场景仍然是一个挑战。用户不适当的本地训练或微调边缘 AI 模型可能导致模型故障，从而可能给制造商带来法律问题。为了解决上述问题，本文提出了一个名为“DiReD”的创新框架，涉及知识蒸馏与反向蒸馏。在初始步骤中，使用假定数据以及在上级管理云服务器中使用云 AI 模型的 KD 过程来训练边缘 AI 模型。然后，该边缘 AI 模型被分派到边缘 AI 设备，仅用于用户应用场景中的推理。当用户需要更新边缘 AI 模型以更好地适应实际场景时，采用反向蒸馏 过程来提取知识：使用用户的独占数据从边缘 AI 模型中提取用户偏好与制造商假设之间的差异。仅将提取的知识报告回上级管理云服务器以更新云 AI 模型，从而通过不使用任何独占数据来保护用户隐私。更新后的云 AI 随后可以利用扩展的知识更新边缘 AI 模型。仿真结果表明，所提出的“DiReDi”框架允许制造商通过使用私有数据从用户的实际场景中学习新知识来更新用户模型。由于再训练强调用户私有数据，初始冗余知识被减少。
引用
@article{arxiv.2409.08308,
title = {DiReDi: Distillation and Reverse Distillation for AIoT Applications},
author = {Chen Sun and Qing Tong and Wenshuang Yang and Wenqi Zhang},
journal= {arXiv preprint arXiv:2409.08308},
year = {2024}
}