DP-FlogTinyLLM: 使用Tiny LLMs进行差分隐私联邦日志异常检测
机器学习
2026-05-05 v4
摘要
现代分布式系统生成大量日志数据，对检测异常和网络威胁至关重要。然而，在现实场景中，这些日志常常分布在多个组织之间，由于隐私和安全限制，无法集中处理。现有的日志异常检测方法，包括最近的基于大型语言模型(LLM)的方法，主要依赖集中式训练，无法适用于此类环境。在本文中，我们提出DP-FlogTinyLLM，一个面向参数高效LLM的隐私保护式联邦框架，用于日志异常检测。我们的方法通过集成联邦优化与差分隐私，实现了无需共享原始日志数据的协作式学习。为确保资源受限环境下的可扩展性，我们采用低秩适配(LoRA)技术，在每个客户端对Tiny LLMs进行高效微调。Thunderbird和BGL数据集上的实验表明，所提框架在保持中心化LLM方法性能的同时，因隐私机制的额外计算开销。与现有联邦基线方法相比，DP-FlogTinyLLM在精确度和F1分数上 consistently实现更高表现，尤其在Thunderbird数据集上展现出显著的优势，凸显了其在检测异常、最小化误报方面的有效性。
引用
@article{arxiv.2604.19117,
title = {LLMs Know They're Wrong and Agree Anyway: The Shared Sycophancy-Lying Circuit},
author = {Manav Pandey},
journal= {arXiv preprint arXiv:2604.19117},
year = {2026}
}