Fed-urlBERT:用于 URL 威胁分析的客户端轻量级联邦 Transformer
密码学与安全
2023-12-07 v1
摘要
在不断演变的网络环境中,恶意 URL 的检测需要跨领域的合作与知识共享。然而,对隐私和商业敏感性的担忧往往阻碍了协作。联邦学习通过在不直接交换数据的情况下实现多客户端协作来解决这些问题。不幸的是,如果使用高表达能力的 Transformer 模型,客户端可能会面临无法忍受的计算负担,并且权重的交换会迅速耗尽网络带宽。在本文中,我们提出了 Fed-urlBERT,这是一种联邦 URL 预训练模型,旨在解决网络安全中的隐私问题和跨领域协作需求。Fed-urlBERT 利用拆分学习将预训练模型分为客户端和服务器部分,使得客户端部分占用较少的计算资源和带宽。我们的方法在独立同分布(IID)和两种非 IID 数据场景下均实现了与集中式模型相当的性能。值得注意的是,与集中式模型相比,我们的联邦模型的 FPR 降低了约 7%。此外,我们实现了一种自适应本地聚合策略,减轻了客户端之间的异构性,展现出有前景的性能提升。总体而言,我们的研究验证了所提出的 Transformer 联邦学习在 URL 威胁分析中的适用性,为现实世界中的协作网络安全工作奠定了基础。源代码可在 https://github.com/Davidup1/FedURLBERT 获取。
引用
@article{arxiv.2312.03636,
title = {Fed-urlBERT: Client-side Lightweight Federated Transformers for URL Threat Analysis},
author = {Yujie Li and Yanbin Wang and Haitao Xu and Zhenhao Guo and Fan Zhang and Ruitong Liu and Wenrui Ma},
journal= {arXiv preprint arXiv:2312.03636},
year = {2023}
}
备注
13 pages, 8 figures