从异构多视图数据中学习子空间保持的稀疏注意力图

通过具有不同架构的各种预训练模型从大规模无标签数据中提取的高维特征被称为异构多视图数据。大多数现有的无监督迁移学习方法在利用跨视图的互补信息时，无法忠实地恢复内在的子空间结构。因此，一个根本性的挑战在于构建能保持这些潜在子空间结构的稀疏相似图，以实现跨异构视图的语义对齐。在本文中，我们提出了一种稀疏注意力图学习方法，该方法能从异构多视图数据中学习子空间保持的稀疏注意力图。具体来说，我们引入了一种双线性注意力分解方案来捕获高维特征之间的非对称相似性，这打破了传统表示学习技术中固有的对称性瓶颈。然后，一个动态稀疏门控机制预测一个特征特定的压缩因子，用于自适应地控制邻居的拓扑贡献。此外，我们通过 $\alpha$-entmax 采用结构化稀疏投影，为各个视图生成子空间保持的稀疏注意力图。SAGL 利用这些视图特定的图进行稀疏信息聚合，为多视图学习任务产生判别性表示。此外，我们提供了严格的理论分析，将可微稀疏注意力与概率单纯形约束联系起来。在多个基准数据集上进行的大量实验表明，SAGL 始终优于最先进的无监督域自适应方法。