基于注意力的多头模型用于涡扇发动机剩余使用寿命预测的实证评估
机器学习
2021-09-21 v2
摘要
在基于多元时间序列信号训练的深度学习架构中，单一单元（头）是常规的输入特征提取器。单头网络所生成的固定维向量表示的重要性，已在工业机械状态监测与预测性维护中得到证实。然而，使用单头处理异构传感器信号可能导致模型无法显式刻画时变多元输入中的多样性。本工作通过构建上下文特定的头以独立捕捉各传感器读数中的固有模式，将常规单头深度学习模型扩展为更鲁棒的形式。利用涡扇航空发动机基准数据集（CMAPSS），我们开展了大量实验，以验证多头多层感知机、循环网络、卷积网络、Transformer 风格的独立注意力网络及其变体在剩余使用寿命估计中的有效性与优势。此外，还评估了不同注意力机制对多头模型的影响。并且，分析了各架构的相对优势与计算开销。结果表明，注意力层的使用具有任务敏感性与模型依赖性，因其并未在所研究的各模型中带来一致的改进。将最优模型与五种 SOTA 模型进行比较，比较显示相对简单的多头架构优于 SOTA 模型。本研究呈现的结果证明了多头模型与注意力机制对于深化工业资产剩余使用寿命理解的重要性。
引用
@article{arxiv.2109.01761,
title = {An empirical evaluation of attention-based multi-head models for improved turbofan engine remaining useful life prediction},
author = {Abiodun Ayodeji and Wenhai Wang and Jianzhong Su and Jianquan Yuan and Xinggao Liu},
journal= {arXiv preprint arXiv:2109.01761},
year = {2021}
}
备注
32 pages, 13 figures, 8 tables, typos fixed