KDCTime：基于 InceptionTime 校准知识蒸馏的时间序列分类方法
机器学习
2021-12-07 v1
摘要
基于深度神经网络的时间序列分类方法在 UCR 数据集上易于过拟合，这是由这些数据集的小样本问题所致。因此，为了缓解过拟合现象以进一步提升准确率，我们首先提出面向 InceptionTime 的标签平滑（LSTime），其相较于仅用硬标签采用了软标签信息。接着，不同于通过 LSTime 手动调整软标签，我们提出面向 InceptionTime 的知识蒸馏（KDTime），以由教师模型自动生成软标签。最后，为纠正教师模型预测的错误软标签，我们提出面向 InceptionTime 的带校准知识蒸馏（KDCTime），其包含两种可选校准策略，即基于平移的 KDC（KDCT）与基于重排序的 KDC（KDCR）。实验结果表明，KDCTime 的准确率表现良好，而其推理时间比 ROCKET 快两个数量级，且训练时间开销可接受。
引用
@article{arxiv.2112.02291,
title = {KDCTime: Knowledge Distillation with Calibration on InceptionTime for Time-series Classification},
author = {Xueyuan Gong and Yain-Whar Si and Yongqi Tian and Cong Lin and Xinyuan Zhang and Xiaoxiang Liu},
journal= {arXiv preprint arXiv:2112.02291},
year = {2021}
}