去中心化联邦学习保护模型与数据隐私
机器学习
2021-02-02 v1 网络与互联网体系结构
摘要
IT系统日益复杂，需要能够在故障情况下支持运行的解决方案。因此，用于系统运维的人工智能(AIOps)是一个在学术界和工业界都日益受到关注的研究领域。该领域的主要问题之一是缺乏足够标注的数据，这主要归因于法律保护法规或行业机密。缓解此问题的方法源自联邦学习领域，该方法无需直接访问训练数据。原始方法利用中心实例通过周期性聚合所有模型参数来执行模型同步。然而，在许多场景中，训练好的模型无法发布，因为其要么是机密知识，要么可从中重构出训练数据。此外，中心实例需要被信任且是单点故障。作为解决方案，我们提出了一种完全去中心化的方法，允许在训练好的模型之间共享知识。既不需要传输原始训练数据，也不需要传输模型参数。该概念依赖于分配给各模型的教师与学生角色，其中学生通过合成生成的输入数据在教师的输出上进行训练。我们在日志异常检测上进行了案例研究。结果表明，在教师输出上训练的未训练学生模型达到了与教师相当的F1分数。此外，我们证明了我们的方法允许对在不同独立训练数据子集上训练的多个模型进行同步。
引用
@article{arxiv.2102.00880,
title = {Decentralized Federated Learning Preserves Model and Data Privacy},
author = {Thorsten Wittkopp and Alexander Acker},
journal= {arXiv preprint arXiv:2102.00880},
year = {2021}
}