魔方算子：一种即插即用的排列模块，用于深度卷积过程中更好地组织高维工业数据
机器学习
2022-03-25 v1
摘要
卷积神经网络（CNN）已被广泛应用于处理基于工业数据的张量输入，该类张量从空间、时间与系统动态方面集成了分布式工业系统的数据记录。然而，不同于图像，基于工业数据的张量中的信息未必按空间有序排列。因此，直接应用 CNN 是低效的。为解决此问题，我们提出一种即插即用模块——魔方算子（RCO），在由 CNN 处理之前，自适应地将基于工业数据的张量的数据组织排列为属性最优或次优顺序，并可通过基于梯度的优化器与后续 CNN 一同更新。所提出的 RCO 维护 K 个二值右随机排列矩阵，以对输入工业数据张量的 K 个轴的属性进行排列。我们提出一种新颖的学习过程以实现从数据中学习排列矩阵，其中采用 Gumbel-Softmax 对排列矩阵元素进行重参数化，并提出软正则化损失并将其加入特定任务损失以确保排列后数据的特征多样性。我们通过考虑两个代表性的基于 CNN 处理工业数据的学习任务——来自可再生能源领域的风电功率预测（WPP）与风速预测（WSP）——验证了所提 RCO 的有效性。基于从不同风电场收集的四个数据集进行了计算实验，结果表明所提 RCO 能显著提升基于 CNN 的网络性能。
引用
@article{arxiv.2203.12921,
title = {Rubik's Cube Operator: A Plug And Play Permutation Module for Better Arranging High Dimensional Industrial Data in Deep Convolutional Processes},
author = {Luoxiao Yang and Zhong Zheng and Zijun Zhang},
journal= {arXiv preprint arXiv:2203.12921},
year = {2022}
}