面向时间序列数据跨域模型压缩的通用与联合知识蒸馏
机器学习
2023-07-10 v1
摘要
对于许多真实世界时间序列任务，主流深度学习的计算复杂度常阻碍其在资源受限环境（如智能手机）上的部署。此外，由于模型训练（源）与部署（目标）阶段之间不可避免的域偏移，在跨域场景下压缩这些深度模型变得更具挑战性。尽管一些已有工作已探索用于模型压缩的跨域知识蒸馏，但它们要么偏向源数据，要么在源和目标数据间高度纠缠。为此，我们设计了一种称为通用与联合知识蒸馏（UNI-KD）的新型端到端框架，用于跨域模型压缩。特别地，我们提出通过对抗学习方案，将跨源和目标域的通用特征级知识以及两域共享的联合logit级知识从教师模型迁移至学生模型。更具体地，采用特征域判别器对齐教师与学生表示以实现通用知识迁移；利用数据域判别器优先筛选域共享样本以实现联合知识迁移。在四个时间序列数据集上的大量实验结果证明了我们所提方法优于最先进（SOTA）基准。
引用
@article{arxiv.2307.03347,
title = {Distilling Universal and Joint Knowledge for Cross-Domain Model Compression on Time Series Data},
author = {Qing Xu and Min Wu and Xiaoli Li and Kezhi Mao and Zhenghua Chen},
journal= {arXiv preprint arXiv:2307.03347},
year = {2023}
}
备注
Accepted by IJCAI 2023