图感知器IO：一种面向图结构数据的通用架构
机器学习
2025-02-24 v2
摘要
多模态机器学习已因通用智能的发展而被广泛研究。近来，Perceiver与Perceiver IO在多样化数据集领域与任务上展现出有竞争力的结果。然而，近期工作Perceiver与Perceiver IO聚焦于包括图像、文本在内的异质模态，针对图结构数据集的研究甚少。图具有不同于文本、图像等其他数据集的邻接矩阵，处理其拓扑信息并非易事。本研究提出Graph Perceiver IO（GPIO），即面向图结构数据集的Perceiver IO。我们保持GPIO的主体结构与Perceiver IO一致，因为除图结构数据集外，Perceiver IO已能良好处理多样数据集。GPIO是一种通用方法，通过利用位置编码与输出查询平滑，可处理图结构数据、文本与图像等多样数据集。相较于图神经网络（GNNs），GPIO所需复杂度更低，并能高效融合全局与局部信息，这也通过实验得到验证。此外，我们提出GPIO+用于同时融合图像与图的多模态少样本分类。GPIO在图分类、节点分类与多模态文本分类等多项任务上取得高于GNNs的基准准确率，并在链接预测中获得更优的AP与AUC。另外，GPIO+在多模态少样本分类上优于GNNs。我们的GPIO(+)可作为处理多种模态与任务的通用架构。
引用
@article{arxiv.2209.06418,
title = {Graph Perceiver IO: A General Architecture for Graph Structured Data},
author = {Seyun Bae and Hoyoon Byun and Changdae Oh and Yoon-Sik Cho and Kyungwoo Song},
journal= {arXiv preprint arXiv:2209.06418},
year = {2025}
}