系统日志匿名化以实现隐私保护与存储收益

系统日志包含用于分析和诊断系统行为的宝贵信息。并行计算系统的规模及其组件数量持续增长。系统产生的日志量随之增加。因此，长期收集和存储系统日志颇具挑战。系统日志分析需要先进的文本处理技术。对于海量日志，分析极其耗时且需要高水平专业知识。对许多并行计算中心而言，将系统日志分析外包给第三方是唯一负担得起的选择。然而，系统日志条目中存在敏感数据，阻碍了向第三方传输日志。此外，处理系统日志的分析工具及其提供的解决方案高度依赖特定系统。只有通过访问和分析多个计算系统的日志，才能实现更通用的解决方案。然而，隐私顾虑阻碍了跨机构以及公共领域的日志共享。本文提出了一种新的系统日志信息匿名化方法，采用去标识化和编码技术，提供可共享的系统日志，兼具尽可能高的数据质量和更小的体积。本文呈现的结果表明，除了消除系统日志中的敏感数据并将其转化为可共享数据外，所提出的匿名化方法还使匿名化日志的后处理性能提升25%，并将所需存储空间减少50%以上。