基于稀疏注意力机制的油井区间鲁棒表示
机器学习
2023-11-07 v3
摘要
基于 Transformer 的神经网络架构在不同领域取得了最先进的结果，从自然语言处理（NLP）到计算机视觉（CV）。Transformer 的核心思想——注意力机制，已在许多领域带来重大突破。注意力机制也已在时间序列数据中实现应用。然而，由于注意力计算关于输入序列长度的二次复杂度，Transformer 的应用受限于高资源需求。此外，它们面向工业时间序列的改进需要对缺失或含噪值具有鲁棒性，这使其应用范围的扩展复杂化。为应对这些问题，我们引入一类称为正则化 Transformer（Reguformers）的高效 Transformer。我们实现了受 dropout 思想启发的正则化技术，以提升鲁棒性并降低计算开销。我们实验的重点是油气数据，即测井曲线，这是多元时间序列的一个典型例子。目标是解决其相似度与表示学习问题。为评估我们的模型在这些问题上的表现，我们使用了一个由 20 余口井的测井曲线组成的工业规模开放数据集。实验表明，在井区间分类和所获井区间表示的质量方面，所有 Reguformers 变体均优于先前开发的 RNN、经典 Transformer 模型及其鲁棒改进版（如 Informer 和 Performer）。此外，我们的模型对缺失和错误数据的稳健性大幅超过其他模型。Reguformer 在井区间相似度任务上取得的最佳结果为平均 PR~AUC 分数等于 0.983，与经典 Transformer 相当并优于先前模型。
引用
@article{arxiv.2212.14246,
title = {Robust representations of oil wells' intervals via sparse attention mechanism},
author = {Alina Ermilova and Nikita Baramiia and Valerii Kornilov and Sergey Petrakov and Alexey Zaytsev},
journal= {arXiv preprint arXiv:2212.14246},
year = {2023}
}