多教师集成蒸馏：概率域知识聚合的数学框架

基于 Sparse-KD 的概率域蒸馏框架，我们为多教师集成知识蒸馏发展了一个公理化的算子理论框架。我们并未规定具体的聚合公式，而是定义了支配有效知识聚合算子的五个核心公理，涵盖凸性、正定性、连续性、权重单调性和温度一致性。我们证明了满足这些公理的算子族的存在性与非唯一性，确立了多种不同的聚合机制可遵循相同的基础原理。在此框架内，我们建立了算子无关的保证，表明在异构教师下，多教师聚合能同时降低随机方差与系统性监督偏差，并提供了 Jensen 型界、对数损失保证以及安全衰减性质。对于教师权重为线性的聚合算子，我们在标准独立性假设下进一步建立了经典的集成方差缩减结果，并将其扩展至误差相关情形。该框架为来自不同前沿模型的多教师蒸馏提供了理论基础，同时允许多种有效的实现策略。