一种基于连体表示学习的自知识蒸馏新方法用于动作识别
计算机视觉与模式识别
2022-09-07 v1 人工智能
摘要
知识蒸馏是将知识从重型网络（教师）迁移到小型网络（学生）以提升学生性能的有效方法。自知识蒸馏作为知识蒸馏的特例，已被提出以去除大型教师网络训练过程同时保持学生性能。本文引入一种通过连体表示学习的新型自知识蒸馏方法，其最小化来自给定样本的两个不同视图的两个表示向量之间的差异。我们提出的方法 SKD-SRL 同时利用软标签蒸馏和表示向量的相似性。因此，SKD-SRL 能在同一数据点的不同视图中生成更一致的预测和表示。我们的基准已在各种标准数据集上评估。实验结果表明，无论网络如何，SKD-SRL 相比现有监督学习和知识蒸馏方法显著提升了准确率。
引用
@article{arxiv.2209.01311,
title = {A Novel Self-Knowledge Distillation Approach with Siamese Representation Learning for Action Recognition},
author = {Duc-Quang Vu and Trang Phung and Jia-Ching Wang},
journal= {arXiv preprint arXiv:2209.01311},
year = {2022}
}
备注
VCIP 2021