跨架构知识蒸馏：通过冗余抑制实现简化
高能物理 - 唯象学
2026-02-04 v1
摘要
我们描述了一种用于跨架构知识蒸馏的简单方法，其中知识传递被建模为冗余信息抑制。现有方法引入复杂的模块、针对架构的设计以及过多的参数，这些都会影响其效率和适用性。我们提出通过减少冗余的架构专有信息来提取异构表示中的架构无关知识。为此，我们提出一种简单的冗余抑制蒸馈（RSD）损失，包括跨架构不变性最大化和特征去相关目标。为防止学生在其内部表示上完全丢失其架构特定能力，我们进一步设计了一个轻量级模块，用于将 RSD 目标与学生的内部表示解耦。我们的方法不包含 OFA 先驱方法中的架构特定设计和复杂操作，在 CIFAR-100 和 ImageNet-1k 基准测试中仅以其参数开销的一小部分就超越了 OFA，这凸显了其作为跨架构蒸馈社区简单而强大基线的潜力。
引用
@article{arxiv.2507.21843,
title = {How cross section fluctuations affect multiplicity and geometry in pA collisions},
author = {Chiara Le Roux},
journal= {arXiv preprint arXiv:2507.21843},
year = {2026}
}