面向隐私与存储收益的系统日志匿名化

系统日志构成了用于分析和诊断系统行为的宝贵信息。并行计算系统的规模及其组件数量不断增加。系统生成的日志量与此增长成正比。因此，系统日志的长期收集与存储极具挑战。系统日志的分析需要高级的文本处理技术。对于极大量的日志，分析非常耗时且需要高度的专业知识。对于许多并行计算中心而言，将系统日志的分析外包给第三方是唯一可负担的选项。然而，系统日志条目中敏感数据的存在阻碍了将系统日志传输给第三方。此外，用于处理系统日志的分析工具及此类工具提供的解决方案高度依赖于特定系统。只有通过访问和分析多个计算系统的日志，才能实现更通用的解决方案。然而，隐私问题阻碍了跨机构以及公共领域共享系统日志。本工作提出了一种新的系统日志信息匿名化方法，该方法采用去标识化和编码来提供可共享的系统日志，同时保持尽可能高的数据质量并减小其大小。本工作给出的结果表明，除了消除系统日志中的敏感数据并将其转换为可共享数据外，所提出的匿名化方法在匿名化系统日志的后处理中提供了25%的性能提升，并在其所需存储空间上实现了超过50%的缩减。