HDMI：高阶深度多路信息最大化
机器学习
2021-06-30 v5 信息论
社会与信息网络
math.IT
摘要
网络已被广泛用于表征对象间的关系，如学术网络和社会网络，因此学习网络嵌入获得了大量研究关注。自监督网络表示学习旨在无需外部监督地提取节点嵌入。近年来，最大化局部节点嵌入与全局摘要之间的互信息（例如深度图信息最大化，简称 DGI）在节点分类等许多下游任务上展现出有前景的结果。然而，DGI 存在两个主要局限。首先，DGI 仅考虑外在监督信号（即节点嵌入与全局摘要之间的互信息），而忽略了内在信号（即节点嵌入与节点属性之间的相互依赖）。其次，真实网络中的节点通常通过具有不同关系的多条边相连，而 DGI 未充分探索节点间的各种关系。为解决上述问题，我们提出一种称为高阶深度多路信息最大化（HDMI）的新框架，以自监督方式学习多路网络上的节点嵌入。具体而言，我们首先通过高阶互信息设计包含外在和内在互信息的联合监督信号，并提出高阶深度信息最大化（HDI）来优化所提监督信号。然后，我们提出一种基于注意力的融合模块，以组合来自多路网络不同层的节点嵌入。最后，我们在无监督聚类和有监督分类等多种下游任务上评估所提 HDMI。实验结果表明，HDMI 在这些任务上达到了最先进的性能。
引用
@article{arxiv.2102.07810,
title = {HDMI: High-order Deep Multiplex Infomax},
author = {Baoyu Jing and Chanyoung Park and Hanghang Tong},
journal= {arXiv preprint arXiv:2102.07810},
year = {2021}
}
备注
Accepted by WWW'2021 Updated section 3.1.1