软测量Transformer：数百个传感器堪比一个词
机器学习
2022-01-25 v1 人工智能
摘要
近年来随着AI技术的快速发展，软测量领域出现了许多基于深度学习模型的研究。然而，模型变得愈发复杂，而数据集仍然有限：研究者用数百个数据样本拟合百万参数模型，这不足以发挥模型的有效性，因而在工业应用中部署时往往失效。为解决这一长期存在的问题，我们向公众提供来自希捷科技的大规模、高维时间序列制造传感器数据。我们基于这些数据集，通过软测量Transformer模型展示了工业大数据建模的挑战与有效性。采用Transformer是因为其在自然语言处理中已超越最先进技术，且此后在不引入图像特定归纳偏置的情况下于计算机视觉的直接应用中也表现良好。我们观察到句子结构与传感器读数的相似性，并像处理自然语言中的句子一样处理时间序列中的多变量传感器读数。高维时间序列数据被格式化为嵌入句子的相同形状，并输入Transformer模型。结果表明，基于自编码器和长短期记忆（LSTM）模型的软测量领域基准模型被Transformer模型超越。据我们所知，我们是学界或工业界首个用大规模数值软测量数据基准测试原始Transformer模型性能的团队。
引用
@article{arxiv.2111.05973,
title = {Soft Sensing Transformer: Hundreds of Sensors are Worth a Single Word},
author = {Chao Zhang and Jaswanth Yella and Yu Huang and Xiaoye Qian and Sergei Petrov and Andrey Rzhetsky and Sthitie Bom},
journal= {arXiv preprint arXiv:2111.05973},
year = {2022}
}