面向样本受限住宅 NILM 的规模化与跨 token 关系增强 Transformer

Transformer 在各类领域展现出卓越性能，由于其自注意力机制能够捕捉数据中的复杂关系。然而，在小型数据集上进行训练具有挑战性，因为标准注意力机制会过度平滑注意力得分，并过度优先考虑 token 内部关系，降低对捕捉关键跨 token 依赖的能力，这在诸如非侵入负载监控 (NILM) 等任务中至关重要。为此，我们提出了一种具有两种关键创新性的新型 Transformer 架构：跨 token 关系增强和动态温度调谐。跨 token 关系增强机制通过移除相似矩阵中的对角线条目来提高对跨 token 关系的关注。动态温度调谐机制是一种可学习参数，能够在训练期间适应注意力锐度，防止过度平滑并增强对 token 关系的敏感性。我们在 REDD 数据集上进行了验证，结果表明，我们的方法在各种 appliance 类型上相较于原始 Transformer 和最先进的模型在 F1 分数上提升 10-15%，显示出在小型数据集上训练方面的有效性。