用于增强知识蒸馏的局部稠密逻辑关系
计算机视觉与模式识别
2026-02-11 v2
摘要
最先进的逻辑蒸馏方法具有多样性、简单性和高效性。尽管已取得进展，现有研究仍未深入探讨逻辑知识中细粒度关系。本文提出一种新方法——局部稠密关系逻辑蒸馏（Local Dense Relational Logit Distillation, LDRLD），通过递归解耦和重组逻辑信息，捕获类别之间的相互关系，从而为学生学习提供更详细、更清晰的洞见。为进一步优化性能，我们引入自适应衰减权重（Adaptive Decay Weight, ADW）策略，利用逆秩权重（Inverse Rank Weighting, IRW）和指数秩衰减（Exponential Rank Decay, ERD）动态调整关键类别对的权重。具体而言，IRW按配对秩差的倒数分配权重，而ERD则基于类别配对总排名分数自适应控制权重衰减。此外，在递归解耦后，我们蒸馏剩余的非目标知识，以确保知识完整性并提升性能。最终，我们的方法通过传递细粒度知识并强调最关键的关系，提高了学生的性能。在CIFAR-100、ImageNet-1K和Tiny-ImageNet等数据集上的大量实验表明，我们的方法在与最先进的基于逻辑的蒸馈方法进行比较时表现优异。代码将公开发布。
引用
@article{arxiv.2507.15911,
title = {Local Dense Logit Relations for Enhanced Knowledge Distillation},
author = {Liuchi Xu and Kang Liu and Jinshuai Liu and Lu Wang and Lisheng Xu and Jun Cheng},
journal= {arXiv preprint arXiv:2507.15911},
year = {2026}
}
备注
Accepted by ICCV2025, Code available at https://github.com/yema-web/LDRLD