窥探封闭世界内部：面向云端的基于自编码器的DDoS检测评估
网络与互联网体系结构
2020-06-23 v3 机器学习
摘要
基于机器学习的异常检测（ML-based AD）在实验室中已成功检测DDoS事件。然而已发表的ML-based AD评估仅使用了有限数据，且极少揭示其生效原因。为解决针对真实世界数据评估不足的问题，我们将已有的ML-AD模型自编码器应用于某主要云提供商5个云IP上捕获的57起DDoS攻击事件。我们表明，对于受攻击的4个云IP中的2个，我们的模型检测到近乎全部的恶意流（至少99.99%），对其余2个IP检测到大部分恶意流（94.75%与91.37%）。我们的模型在发往全部5个IP的正常流上亦保持近零误报。我们的主要贡献在于增进对ML-based AD为何对某些恶意流生效而对其他不生效的理解。我们通过特征归因与反事实解释来解读检测结果。我们表明，相较于在拒绝列表特征（那些大多为良性取值的特征）上含异常的流，我们的模型更擅长检测在允许列表特征（那些仅有少数良性取值的特征）上含异常的恶意流，因为模型更可能学习到允许列表特征的正确正态性。我们随后表明，相较于在有序特征（其取值间无顺序关系）上含异常的流，我们的模型更擅长检测在无序特征（其取值间无顺序关系）上含异常的恶意流，因为即便正态性不完整，模型仍能以高召回率检测无序特征上的异常。最后，我们总结了将基于自编码器的AD应用于生产环境所得启示：用含噪声的真实世界数据训练是可行的；自编码器能可靠检测良表示无序特征上的真实异常；且基于自编码器的AD与基于启发式的过滤器相结合可对双方均有助益。
引用
@article{arxiv.1912.05590,
title = {Peek Inside the Closed World: Evaluating Autoencoder-Based Detection of DDoS to Cloud},
author = {Hang Guo and Xun Fan and Anh Cao and Geoff Outhred and John Heidemann},
journal= {arXiv preprint arXiv:1912.05590},
year = {2020}
}