基于知识蒸馏与定点量化的原位动物行为分类
机器学习
2022-12-21 v2 人工智能
信号处理
摘要
我们探索使用知识蒸馏（KD）学习紧凑而准确的模型，以在可穿戴设备上基于加速度计数据对动物行为进行分类。为此，我们采用一个深层且复杂的卷积神经网络，即残差神经网络（ResNet），作为教师模型。ResNet 专为多变量时间序列分类而设计。我们利用 ResNet 将动物行为分类数据集的知识蒸馏为软标签，其由每个数据点各类别的预测伪概率组成。随后，我们使用软标签训练基于门控循环单元（GRU）和多层感知机（MLP）的复杂度显著降低的学生模型。使用两个真实世界动物行为分类数据集的评估结果表明，经 KD 后学生 GRU-MLP 模型的分类准确率显著提升，接近教师 ResNet 模型。为进一步降低使用经 KD 训练的学生模型进行推理的计算与内存需求，我们通过适当修改所考虑模型的计算图，利用动态定点量化（DQ）。我们在专门设计的项圈与耳标设备的嵌入式系统上实现了所开发基于 KD 模型的未量化与量化版本，以原位实时分类动物行为。我们的评估证实了 KD 与 DQ 在提升原位动物行为分类准确性与效率方面的有效性。
引用
@article{arxiv.2209.04130,
title = {In-situ animal behavior classification using knowledge distillation and fixed-point quantization},
author = {Reza Arablouei and Liang Wang and Caitlin Phillips and Lachlan Currie and Jordan Yates and Greg Bishop-Hurley},
journal= {arXiv preprint arXiv:2209.04130},
year = {2022}
}