递归元蒸馏：迭代知识精炼的公理化框架
机器学习
2026-01-21 v1
摘要
概率域知识蒸馏的近期工作为单阶段场景下的温度缩放、多教师聚合和偏差-方差权衡建立了公理化框架。然而，递归或多代蒸馏的数学行为仍缺乏深入理解，先前的方法主要依赖经验启发式。在本工作中，我们引入了一个用于递归元蒸馏的公理化与算子理论框架，将迭代知识蒸馏形式化为一系列概率分布算子，并显式锚定到基础教师。我们定义了有效元教师构建的结构公理，并证明了满足这些公理的非平凡算子族的存在性，而无需指定特定的算法或损失函数。在温和的可实现性与凸性假设下，我们证明了锚定递归蒸馏在 KL 散度中诱导收缩，从而产生向基础教师分布的几何收敛以及一个唯一的全局吸引不动点。本工作的贡献是基础性的而非算法性的：该框架刻画了递归蒸馏何时在数学上是适定的且收敛的，而非误差累积的，且独立于模型架构、优化细节或具体算子实例化。这些结果为理解容量约束下迭代和多教师蒸馏的稳定性、偏差-方差行为和失败模式提供了理论基础。
引用
@article{arxiv.2601.13100,
title = {Recursive Meta-Distillation: An Axiomatic Framework for Iterative Knowledge Refinement},
author = {Aaron R. Flouro and Shawn P. Chadwick},
journal= {arXiv preprint arXiv:2601.13100},
year = {2026}
}