NeurIPS 2023竞赛：隐私保护联邦学习文档VQA
机器学习
2025-06-04 v2 密码学与安全
计算机视觉与模式识别
摘要
隐私保护联邦学习文档VQA（PFL-DocVQA）竞赛挑战社区为实际用例（发票处理）开发联邦设置下可证明隐私且通信高效的解决方案。该竞赛引入了一个真实发票文档数据集，以及需要从文档图像中提取信息和推理的相关问题与答案。因此，它汇集了来自文档分析、隐私和联邦学习社区的研究人员和专业知识。参赛者对组织者提供的针对这一新领域的预训练最先进文档视觉问答基础模型进行了微调，模拟了典型的联邦发票处理设置。该基础模型是一个多模态生成语言模型，敏感信息可能通过视觉或文本输入模态暴露。参赛者提出了优雅的解决方案，以在赛道1中降低通信成本同时维持最低效用阈值，并在赛道2中使用差分隐私保护来自每个文档提供者的所有信息。该竞赛为开发和测试隐私联邦学习方法提供了一个新的测试平台，同时提高了文档图像分析与识别社区对隐私的认识。最终，竞赛分析为未来成功运行以隐私为重点的联邦学习挑战提供了最佳实践和建议。
引用
@article{arxiv.2411.03730,
title = {NeurIPS 2023 Competition: Privacy Preserving Federated Learning Document VQA},
author = {Marlon Tobaben and Mohamed Ali Souibgui and Rubèn Tito and Khanh Nguyen and Raouf Kerkouche and Kangsoo Jung and Joonas Jälkö and Lei Kang and Andrey Barsky and Vincent Poulain d'Andecy and Aurélie Joseph and Aashiq Muhamed and Kevin Kuo and Virginia Smith and Yusuke Yamasaki and Takumi Fukami and Kenta Niwa and Iifan Tyou and Hiro Ishii and Rio Yokota and Ragul N and Rintu Kutum and Josep Llados and Ernest Valveny and Antti Honkela and Mario Fritz and Dimosthenis Karatzas},
journal= {arXiv preprint arXiv:2411.03730},
year = {2025}
}
备注
33 pages, 7 figures; published in TMLR 06/2025 https://openreview.net/forum?id=3HKNwejEEq