SAHDL：稀疏注意力超图正则化字典学习
计算机视觉与模式识别
2020-10-26 v1
摘要
近年来，注意力机制对基于超图的神经网络贡献显著。然而，这些方法随网络传播更新注意力权重。也就是说，此类注意力机制仅适用于基于深度学习的方法，而不适用于传统机器学习方法。本文提出一种基于超图的稀疏注意力机制以解决该问题，并将其嵌入字典学习中。更具体地，我们首先构造稀疏注意力超图，通过采用 -范数稀疏正则化对样本赋予注意力权重，以挖掘样本特征间的高阶关系。然后，我们引入超图拉普拉斯算子以在字典学习中为子空间变换保留局部结构。此外，我们将判别信息作为指导纳入超图以聚合样本。与先前工作不同，我们的方法独立更新注意力权重，不依赖深度网络。我们在四个基准数据集上展示了我们方法的有效性。
引用
@article{arxiv.2010.12416,
title = {SAHDL: Sparse Attention Hypergraph Regularized Dictionary Learning},
author = {Shuai Shao and Rui Xu and Yan-Jiang Wang and Weifeng Liu and Bao-Di Liu},
journal= {arXiv preprint arXiv:2010.12416},
year = {2020}
}