面向基于智能传感器的能量分解的高效局部性Transformer
机器学习
2022-04-01 v1 人工智能
信号处理
摘要
现代基于智能传感器的能源管理系统利用非侵入式负载监测（NILM）实时预测和优化电器负载分布。NILM，或称能量分解，是指在聚合功率信号（即主通道上的智能传感器）条件下对用电情况进行分解。基于使用传感技术的实时电器功率预测，能量分解在提高用电效率和减少能源支出方面具有巨大潜力。随着Transformer模型的引入，NILM在设备功率读数预测方面取得了显著改进。然而，由于相对于序列长度l的O(l^2)复杂度，Transformer效率较低。此外，由于在局部上下文中缺乏归纳偏置，在序列到点设置中Transformer可能无法捕获局部信号模式。在这项工作中，我们提出了一种用于非侵入式负载监测的高效局部性Transformer（ELTransformer）。具体而言，我们利用归一化函数并交换矩阵乘法的顺序来近似自注意力并降低计算复杂度。此外，我们引入具有稀疏局部注意力头和相对位置编码的局部性建模，以增强模型提取短期局部模式的能力。据我们所知，ELTransformer是首个在NILM中解决计算复杂度和局部性建模的NILM模型。通过大量实验和定量分析，我们证明了所提出的ELTransformer的效率和有效性，与最先进的基线相比有可观的改进。
引用
@article{arxiv.2203.16537,
title = {Efficient Localness Transformer for Smart Sensor-Based Energy Disaggregation},
author = {Zhenrui Yue and Huimin Zeng and Ziyi Kou and Lanyu Shang and Dong Wang},
journal= {arXiv preprint arXiv:2203.16537},
year = {2022}
}
备注
Accepted to DCOSS 2022