GSTAM：基于结构注意力匹配的高效图蒸馏
机器学习
2024-09-02 v1 人工智能
摘要
图蒸馏已成为一种将大型图数据集缩减为更小、更易管理且信息丰富的数据集的解决方案。现有方法主要针对节点分类，涉及计算密集的过程，且无法捕捉完整图数据集的真实分布。为了解决这些问题，我们引入了结构注意力匹配图蒸馏（GSTAM），这是一种用于浓缩图分类数据集的新方法。GSTAM 利用 GNN 的注意力图将原始数据集的结构信息蒸馏到合成图中。结构注意力匹配机制利用了输入图中 GNN 优先用于分类的区域，有效地将此类信息蒸馏到合成图中，从而提高了整体蒸馏性能。综合实验表明，GSTAM 优于现有方法，在极端浓缩比下性能提升 0.45% 至 6.5%，突显了其在推进图分类任务蒸馏中的潜在应用（代码可在 https://github.com/arashrasti96/GSTAM 获取）。
引用
@article{arxiv.2408.16871,
title = {GSTAM: Efficient Graph Distillation with Structural Attention-Matching},
author = {Arash Rasti-Meymandi and Ahmad Sajedi and Zhaopan Xu and Konstantinos N. Plataniotis},
journal= {arXiv preprint arXiv:2408.16871},
year = {2024}
}
备注
Accepted at ECCV-DD 2024