垫上猫集:二分超图中用于集匹配的跨注意力
机器学习
2021-11-02 v1 社会与信息网络
摘要
实体间的通常关系可用图刻画;但更高阶的关系——尤其是两类不同实体(我们称为“左”与“右”)之间——则需要“二分超图”。例如,给定左侧症状集合与右侧疾病集合,某患者在特定时刻经历的症状子集与可能被诊断出的疾病子集之间的关系,可很好地用一条二分超边表示。现有嵌入超图节点的最优方法基于从超边中学习节点对之间的自注意力结构。本文中,给定二分超图,我们旨在捕捉来自左右超边笛卡尔积之间节点对的关系,并称之为基于“跨注意力”(cross-attention, CAT)的模型。更确切地说,我们将“二分超边链接预测”表述为集匹配(SETMAT)问题,并为此提出一种称为 CATSETMAT 的新颖神经网络架构。我们在多个二分超图数据集上进行了充分实验,展示了 CATSETMAT 的优越性能,并与多种最优技术进行比较。我们的结果也阐明了自注意力与跨注意力场景下的信息流。
引用
@article{arxiv.2111.00243,
title = {The CAT SET on the MAT: Cross Attention for Set Matching in Bipartite Hypergraphs},
author = {Govind Sharma and Swyam Prakash Singh and V. Susheela Devi and M. Narasimha Murty},
journal= {arXiv preprint arXiv:2111.00243},
year = {2021}
}
备注
18 pages, 9 figures, under review