基于个性化联邦学习的中文文本协同识别
计算机视觉与模式识别
2023-09-01 v2
摘要
在中文文本识别中，为弥补本地数据不足并提升本地少样本字符识别性能，某一组织常需从相似组织处收集大量数据。然而，由于文本数据天然包含地址、电话等隐私信息，不同组织不愿共享私有数据。因此，为中文文本识别任务设计一种保护隐私的协同训练框架愈发重要。本文将对个性化联邦学习（pFL）引入中文文本识别任务，并提出 pFedCR 算法，其在不共享私有数据的情况下显著提升了各客户端（组织）的模型性能。具体而言，pFedCR 包含两阶段：多轮全局模型训练阶段与本地个性化阶段。在第 1 阶段，将注意力机制融入 CRNN 模型以适配各异的客户端数据分布；利用固有的字符数据特征，在服务器端构建均衡数据集以缓解字符不均衡。在个性化阶段，对全局模型微调一个 epoch 以生成本地模型；本地与全局模型间的参数平均融合了个性化与全局特征提取能力。最后，仅微调注意力层以增强其对本地个性化特征的关注。在三个真实工业场景数据集上的实验表明，pFedCR 算法在提升约 20% 本地个性化模型性能的同时，也提升了其在其他客户端数据域上的泛化性能；相较于其他最先进的个性化联邦学习方法，pFedCR 提升性能 6% ∼ 8%。
引用
@article{arxiv.2305.05602,
title = {Collaborative Chinese Text Recognition with Personalized Federated Learning},
author = {Shangchao Su and Haiyang Yu and Bin Li and Xiangyang Xue},
journal= {arXiv preprint arXiv:2305.05602},
year = {2023}
}