请注意：Transformer 模型在过程预测中真正学到了什么
机器学习
2024-08-15 v1 人工智能
摘要
预测性过程监控旨在通过在运行时对过程实例的进一步演化进行各种预测来支持过程的执行。近年来，大量深度学习架构已被建立为不同预测目标的最先进方法，其中包括 Transformer 架构。Transformer 架构配备了强大的注意力机制，为每个输入部分分配注意力分数，使其能够优先处理最相关的信息，从而产生更准确和上下文相关的输出。然而，深度学习模型在很大程度上代表了一个黑箱，即其推理或决策过程无法被详细理解。本文探讨了基于 Transformer 的下一活动预测模型的注意力分数是否可以作为其决策的解释。我们发现下一活动预测模型中的注意力分数可以作为解释器，并在两种提出的基于图的解释方法中利用这一事实。获得的见解可以启发未来改进预测性业务流程模型的工作，以及实现基于神经网络从事件日志中挖掘流程模型。
引用
@article{arxiv.2408.07097,
title = {Attention Please: What Transformer Models Really Learn for Process Prediction},
author = {Martin Käppel and Lars Ackermann and Stefan Jablonski and Simon Härtl},
journal= {arXiv preprint arXiv:2408.07097},
year = {2024}
}