面向多媒体任务的预测空间知识市场：面向通信受限联邦学习
机器学习
2025-12-02 v1
摘要
联邦学习 (FL) 使分布式多媒体数据的协作训练成为可能，但在客户端部署大型模型时，尤其在统计异构性和通信约束问题下表现突出。经典的参数平均方法如FedAvg 在非独立同分布 (non-IID) 数据下传输完整模型权重且可能发散。我们提出KTA v2，一种面向 FL 的预测空间知识交易市场。每轮中，客户端在私有数据上本地训练，然后仅在小型公共参考集合上共享 logits。服务器在预测空间构建客户端-客户端相似性图，将其与参考集合准确率结合，形成每个客户端的教师集合，并返回针对第二阶段蒸馏更新的个性化软目标。这一两阶段程序可解释为对统一目标的近似块坐标下降，伴随预测空间正则化。在FEMNIST、CIFAR-10和AG News上进行实验表明，在可比或大幅降低的通信预算下，KTA v2 一致优于仅本地的基线和强大的参数化方法(FedAvg、FedProx)，并在FedMD式全局教师方面显著优于后者。在CIFAR-10上使用ResNet-18时，KTA v2 以约仅为FedAvg通信量的1/1100即可达到57.7%的测试准确率；在AG News上则达到89.3%的准确率，通信量仅为FedAvg的约1/300。
引用
@article{arxiv.2512.00841,
title = {Prediction-space knowledge markets for communication-efficient federated learning on multimedia tasks},
author = {Wenzhang Du},
journal= {arXiv preprint arXiv:2512.00841},
year = {2025}
}
备注
13 pages, 3 figures