异构动态概率异常检测器集成的高吞吐阈值设定：一种数学方法

异常检测（AD）在安全研究中已获得充分关注，因为此类算法补充了现有的基于签名的方法，且有望检测前所未见的攻击。网络运营管理大量异构日志数据；因此，此类运营中的AD涉及多个（例如按IP、按数据类型）检测器集成，建模异构特征（例如速率、大小、类型），且常采用自适应在线模型近实时产生告警。由于数据量巨大，在此类系统中为每个检测器设定阈值是一个关键但欠开发的配置问题，若稍有失调便会使系统失效——要么产生大量告警淹没下游系统，要么无任何输出。本工作中，我们基于Ferragut等人的基础，提供一组严谨结果以理解阈值与告警量之间的关系，并提出了一种实践中设定阈值的算法。具体而言，我们给出了原则上完全先验地设定多个异构、可能动态的检测器阈值的算法。实际上，若已知（或紧密估计）输入数据的底层分布，该算法可提供可证明可控的阈值。若分布未知（例如随时间改变），我们的分析揭示了模型分布与实际分布的差异，表明有必要进行模型重拟合。我们提供了实证实验，通过对一个含约2,500个自适应检测器、5小时内评分超150万事件的系统的告警率进行调控，展示了该能力的效果。此外，我们在Harshaw等人的真实网络数据与检测框架上展示了另一种情形，说明无法调控告警如何表明检测模型与数据拟合不良。