面向联邦学习的基于SQL的训练数据调试支持
机器学习
2021-08-27 v1 密码学与安全
数据库
摘要
当我们看到联邦学习设定下的逻辑回归模型出现意外行为（例如，模型拒绝所有高收入客户的贷款申请）时，如何调试该模型？基于SQL的训练数据调试框架已被证明在非联邦学习设定下能有效修复此类问题。给定模型预测上意外的查询结果，该框架自动从训练数据中移除标签错误，使得重训练模型中该意外行为消失。本文中，我们使这一强大框架支持联邦学习。关键挑战在于如何开发一个被证明安全、高效且准确的联邦调试安全协议。实现该目标需要我们研究如何无缝整合来自多个领域（数据库、机器学习与网络安全）的技术。我们首先提出FedRain，将最先进的基于SQL的训练数据调试框架Rain扩展至我们的联邦学习设定。我们解决了若干技术挑战以使FedRain工作，并分析其安全保证与时间复杂度。分析结果表明FedRain在效率与安全性上均有不足。为克服这些局限，我们重新设计安全协议并提出Frog，一种专为联邦学习定制的新型基于SQL的训练数据调试框架。我们的理论分析表明Frog比FedRain更安全、更准确且更高效。我们使用多个真实世界数据集及一个案例研究进行了广泛实验。实验结果与理论分析一致，并验证了Frog在实践中的有效性。
引用
@article{arxiv.2108.11884,
title = {Enabling SQL-based Training Data Debugging for Federated Learning},
author = {Yejia Liu and Weiyuan Wu and Lampros Flokas and Jiannan Wang and Eugene Wu},
journal= {arXiv preprint arXiv:2108.11884},
year = {2021}
}