OmniISR：通过中间监督与正则化实现集中式与联邦学习的统一框架
机器学习
2026-05-21 v1
摘要
边缘智能的全球部署跨越异构的法律框架。虽然一些地区允许通过云端数据聚合进行集中式学习（CL），但其他地区则强制数据局部化， necessitating federated learning（FL）。这种运营二分法引入了两种不兼容的优化范式（即 CL 中无偏全球梯度但伴随内部协变量漂移， versus FL 中的偏差且易受漂移的局部更新），导致任何对两者的 naïve 集成都缺乏严格的理论保证。为填补这一空白，我们提出了 OmniISR，一个通过在多个隐藏层上添加中间监督与正则化（ISR）信号来融合纯 CL、纯 FL 和混合 CL-FL 训练模式的统一框架。具体而言，我们提出（i）将互信息（MI）作为中间监督用于对齐 CL 中的内部协变量漂移和 FL 中的客户端漂移表示；（ii）采用负熵（NE）作为中间正则器以惩罚过度自信的预测，保持表征的不确定性，避免设备特定的崩溃。在理论方面，我们推导（i）一个统一的、ISR 无关且非渐近的 O(1/sqrt(T)) 收敛界，表明引入的 ISR 不违反标准 SGD 收敛；（ii）一个联邦漂移界，量化 ISR 减少的客户端漂移；（iii）一个梯度对齐保证，确保在温和偏差下的 CL 和 FL 更新不冲突；以及（iv）一个显式的逃逸时间界，表明 CL-FL 混合扩大了有效随机性并加速了从严格鞍点逃逸。广泛的实验表明，OmniISR 在集中式和联邦范式中均能一致改善模型性能，缩小 CL-FL 差距 22.60%，并在多个 FL 算法中实现 37/48 对的指标优势。
引用
@article{arxiv.2605.20276,
title = {OmniISR: A Unified Framework for Centralized and Federated Learning via Intermediate Supervision and Regularization},
author = {Wei-Bin Kou and Guangxu Zhu and Ming Tang and Chen Zhang and Lisheng Wu and Lei Zhou and Yujiu Yang},
journal= {arXiv preprint arXiv:2605.20276},
year = {2026}
}
备注
18 pages