面向模型可学习性感知的数据分配的联邦推理蒸馏框架
人工智能
2026-02-24 v1
摘要
数据分配在联邦大型语言模型（LLM）和小型语言模型（SLM）推理协作中发挥着关键作用。然而，现有的数据分配方法未能解决协作中的一个潜在挑战：双向模型可学习性差距，即客户端侧的 SLM 无法识别匹配其可学习性约束的高奖励样本，以实现有效的来自 LLM 的知识迁移；而 LLM 又难以选择超出其现有数据范围的新知识样本。此外，这些协作框架面临另一个关键挑战：域无关的推理迁移，现有的推理迁移方法无法灵活适应本地域数据，阻止 SLM 在从通用 LLM 学习过程中有效获取逐步推理能力。为此，我们提出 LaDa，一种面向模型可学习性感知的数据分配的联邦推理蒸馏框架。它引入模型可学习性感知的数据过滤器，根据每个 SLM 与 LLM 之间的可学习性差距，自适应分配高奖励样本，有效促进双向知识迁移。我们进一步设计了域自适应推理蒸馈方法，通过在筛选后的高奖励样本上进行对比蒸馈学习，使 SLM 与 LLM 的推理路径联合概率对齐，使 SLM 能在本地数据分布下捕获潜在推理模式。LaDa 作为现有协作框架的插拔式模块，根据模型可学习性差距调整知识迁移。
引用
@article{arxiv.2602.18749,
title = {Federated Reasoning Distillation Framework with Model Learnability-Aware Data Allocation},
author = {Wei Guo and Siyuan Lu and Xiangdong Ran and Yiqi Tong and Yikun Ban and Zelong Xu and Jing Fan and Zixuan Huang and Xiao Zhang and Zhaojun Hu and Fuzhen Zhuang},
journal= {arXiv preprint arXiv:2602.18749},
year = {2026}
}