FedReplay：基于特征重放的高效隐私保护联邦传递学习框架用于智能农业
计算机视觉与模式识别
2025-11-04 v1 人工智能
摘要
准确的分类在智能农业中起着关键作用，使我们能够实现作物监控、果实识别和害虫检测等应用。然而，传统的集中式训练需要大规模数据收集，引发隐私担忧；而标准的联邦学习在处理非独立且同分布（non-IID）数据时困难，且通信成本高。为此，我们提出了一种集成冻结的对比语言-图像预训练（CLIP）视觉变换器（ViT）与轻量级变换器分类器的联邦学习框架。通过利用预训练 CLIP ViT 的强特征提取能力，该框架无需从头训练大型模型，联邦更新仅限于紧凑的分类器，从而显著降低了传输开销。此外，为缓解非IID数据分布导致的性能下降，分享来自所有类别的小 subset（1%）的CLIP提取特征表示。这些共享特征无法从原始图像中恢复，确保了隐私保护的同时在各参与方之间对齐类别表示。在农业分类任务上的实验结果表明，所提出的方法实现了86.6%的准确率，该准确率比基线联邦学习方法高出超过4倍。这表明了将视觉语言模型特征与联邦学习结合用于隐私保护和可扩展农业智能的有效性和效率。
引用
@article{arxiv.2511.00269,
title = {FedReplay: A Feature Replay Assisted Federated Transfer Learning Framework for Efficient and Privacy-Preserving Smart Agriculture},
author = {Long Li and Jiajia Li and Dong Chen and Lina Pu and Haibo Yao and Yanbo Huang},
journal= {arXiv preprint arXiv:2511.00269},
year = {2025}
}