从安全论坛中挖掘可行动信息:以恶意 IP 地址为例

本工作的目标是系统性地从黑客论坛中提取信息,这些信息通常被描述为无结构的:帖子的文本未必遵循任何写作规则。相比之下,许多安全倡议和商业实体正在利用现成的公开信息,但它们似乎侧重于结构化的信息源。在此,我们关注从论坛中报告的 IP 地址里识别恶意 IP 地址的问题。我们开发了一种方法,以独立于外部源为设计目标来自动识别恶意 IP 地址。一个关键创新点在于,我们使用矩阵分解方法提取用户行为信息的潜在特征,并将其与相关帖子的文本信息相结合。我们技术的一个关键设计特征是它可以轻易应用于不同语言的论坛,因为它不需要复杂的自然语言处理(Natural Language Processing)方法。具体而言,我们的方案仅需要新语言中的少量关键词以及由特定特征捕获的用户行为。我们还开发了一个工具来自动化从安全论坛收集数据。使用我们的工具,我们从 3 个不同论坛收集了约 60 万条帖子。我们的方法展现出高分类准确率,而在所有三个论坛中识别帖子中恶意 IP 的精确率均大于 88%。我们认为我们的方法能提供显著更多的信息:与参考黑名单 VirusTotal 相比,我们发现了多达 3 倍的潜在恶意 IP 地址。随着网络战争日益激烈,尽早获取有用信息对于消除黑客的先发优势变得更为迫切,而我们的工作是朝此方向迈出的坚实一步。