HLogformer:一种用于表示日志数据的分层 Transformer
机器学习
2024-09-02 v1 人工智能
摘要
Transformer 因其在处理多样化数据结构方面的通用性而获得了广泛赞誉,然而其在日志数据上的应用仍未被充分探索。日志数据具有分层的、类似字典的结构,在使用传统 Transformer 模型处理时带来了独特的挑战。传统方法通常依赖人工制作的模板来解析日志,这一过程不仅劳动密集,而且缺乏泛化能力。此外,标准 Transformer 对日志序列的线性处理忽略了日志条目内丰富的嵌套关系,导致表示不佳和内存占用过高。为了解决这些问题,我们引入了 HLogformer,一种专门为日志数据设计的新型分层 Transformer 框架。HLogformer 利用日志条目的分层结构来显著降低内存开销并增强表示学习。与将日志数据视为扁平序列的传统模型不同,我们的框架在处理日志条目时尊重其固有的分层组织。这种方法确保了对细粒度细节和更广泛上下文关系的全面编码。我们的贡献有三个方面:首先,HLogformer 是首个为类似字典的日志数据设计动态分层 Transformer 的框架。其次,它显著降低了与处理大量日志序列相关的内存开销。第三,综合实验表明,HLogformer 能更有效地编码分层上下文信息,被证明在合成异常检测和产品推荐等下游任务中非常有效。
引用
@article{arxiv.2408.16803,
title = {HLogformer: A Hierarchical Transformer for Representing Log Data},
author = {Zhichao Hou and Mina Ghashami and Mikhail Kuznetsov and MohamadAli Torkamani},
journal= {arXiv preprint arXiv:2408.16803},
year = {2024}
}