Delta：面向设备端持续学习的云辅助数据增强框架
机器学习
2024-10-25 v1
摘要
在现代移动应用中，用户经常遇到各种新情境，使得面向设备的持续学习（CL）以确保模型性能持续性成为必要。虽然现有研究主要致力于开发轻量级 CL 框架，但我们识别到数据稀缺是面向设备 CL 的关键瓶颈。本文探索了利用丰富的云端数据来丰富稀缺设备数据潜力的可能性，提出一种私有、高效且有效的数据增强框架 Delta。具体而言，Delta 首先引入目录数据集，将数据增强问题分解为设备端和云端子问题且无需共享敏感数据。随后，Delta 提出软数据匹配策略以稀疏用户数据下有效解决设备端子问题，并提出最优数据抽样方案供云服务器在低计算复杂度下检索最适合增强的数据集。进一步，Delta 通过联合考虑增强数据对新旧情境的影响来细化数据抽样方案，从新方面缓解灾难性遗忘问题。对四类典型移动计算任务进行全面实验，涵盖不同数据模态，结果表明 Delta 在视觉、IMU、音频和文本任务相较于少样本 CL，分别可提升平均准确率的 15.1%、12.4%、1.1%和 5.6%，且在联邦 CL 中持续将通信成本降低超过 90%。
引用
@article{arxiv.2410.18378,
title = {Delta: A Cloud-assisted Data Enrichment Framework for On-Device Continual Learning},
author = {Chen Gong and Zhenzhe Zheng and Fan Wu and Xiaofeng Jia and Guihai Chen},
journal= {arXiv preprint arXiv:2410.18378},
year = {2024}
}