基于无监督共识嵌入的联邦推理启用
机器学习
2026-05-08 v1
摘要
在独立部署的机器学习模型之间进行协同推理日益理想，因需在保持数据和模型参数私有的前提下利用多个模型。然而，现有合作框架通常依赖共享输入数据、模型参数或通用编码器，限制了隐私敏感或跨组织环境的适用性。为此，我们提出Consensus Embedding-based Federated Inference (CE-FI)，一个在推理阶段使预训练模型协同工作的框架，无需共享模型参数或原始输入，且不假设通用编码器。CE-FI引入两个组件：Consensus Embedding (CE)层将异构中间表征映射到共同嵌入空间，Cooperative Output (CO)层从这些嵌入生成预测。两个层面仅使用共享无标签数据训练，合作阶段无需额外标签数据。在 CIFAR-10 和 CIFAR-100 图像分类基准测试下，面对多样化非独立同分布情形，CE-FI consistently优于单模型推理，性能与需要更强共享假设的传统方法持平。额外在文本和时序任务上的评估表明其超越图像分类的适用性，尽管集成策略影响性能。进一步分析识别表征对齐为主要瓶颈。
引用
@article{arxiv.2605.05718,
title = {Enabling Federated Inference via Unsupervised Consensus Embedding},
author = {Yui Hashimoto and Takayuki Nishio and Yuichi Kitagawa and Takahito Tanimura},
journal= {arXiv preprint arXiv:2605.05718},
year = {2026}
}
备注
18 pages, 15 figures, submitted to IEEE Transactions on Mobile Computing (TMC) (under review)