多注意力任务中基于注意力的知识蒸馏：DCT驱动损失的影响
计算机视觉与模式识别
2022-06-07 v2
摘要
知识蒸馏(Knowledge Distillation, KD)是一组用于定义可迁移通道以提升卷积神经网络效率的策略。基于特征的知识蒸馏是KD的一个子领域，它依赖中间网络表征(未经改动或通过最大激活图降维)作为源知识。在本文中，我们提出并分析了在迁移激活图之前对其施加二维频率变换的方法。我们提出——通过使用全局图像线索而非像素估计，该策略增强了在场景识别等任务中的知识可迁移性，此类任务由多个不同概念间强烈的空间与上下文关系所定义。为验证所提方法，我们给出了场景识别领域最先进方法的广泛评估。实验结果提供有力证据：所提策略使学生网络能更好地聚焦于教师网络学到的相关图像区域，从而产生更具描述性的特征，并实现优于其他所有最先进替代方案的迁移性能。我们在 http://www-vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognition 公开了本文使用的训练与评估框架。
引用
@article{arxiv.2205.01997,
title = {Attention-based Knowledge Distillation in Multi-attention Tasks: The Impact of a DCT-driven Loss},
author = {Alejandro López-Cifuentes and Marcos Escudero-Viñolo and Jesús Bescós and Juan C. SanMiguel},
journal= {arXiv preprint arXiv:2205.01997},
year = {2022}
}
备注
Preprint under review in TCSVT Journal