用于大规模访问日志中高效发现新异常的推荐系统
信息检索
2016-10-27 v1 密码学与安全
摘要
我们提出了一种新颖的、非标准的推荐系统，用于大规模安全策略管理（SPM）。我们的系统Helios以极少的监督且无需用户和项目的起始信息，发现并推荐大规模访问日志中未知和未见的异常。典型的推荐系统假定可用用户和项目相关信息，但此类信息在访问日志中通常不可用。为解决此问题，我们首先以自举方式使用离散分类标签从访问日志构建分类组合。然后，我们利用实体排名的秩统计对分类组合进行排序以进行推荐。从双边冷启动出发，在极少监督下，Helios学会大规模推荐最显著的异常，并为安全专家提供可视化以解释推荐背后的原理。我们的实验表明Helios适用于大规模应用：从冷启动开始，在不到60分钟内，Helios可以分析约400GB日志中约46亿条记录，涉及约3亿个潜在分类组合，然后生成排序的分类组合作为推荐发现。我们还表明，即使计算资源有限，Helios也将SPM中未知和未见异常发现过程加速了1到3个数量级，具体取决于用例。此外，Helios的设计在用于发现和推荐的指标与度量字段方面是灵活的。总体而言，我们的系统实现了更高效的、可定制的SPM流程，并更快发现未见和未知异常。
引用
@article{arxiv.1610.08117,
title = {A recommender system for efficient discovery of new anomalies in large-scale access logs},
author = {Heju Jiang and Scott Algatt and Parvez Ahammad},
journal= {arXiv preprint arXiv:1610.08117},
year = {2016}
}
备注
9 pages, 6 figures