一个Token就够了？面向LLM图问答的图池化Token
机器学习
2026-04-02 v1
摘要
图神经网络（GNN）与大语言模型（LLM）的融合已成为图问答（GraphQA）的有前景范式。然而，将复杂结构信息有效编码到LLM潜在空间的方法仍是一个开放挑战。当前最先进的架构（如G-Retriever）通常依赖标准GNN和激进的均值池化将整个图子结构压缩为单个Token，造成严重的信息瓶颈。本工作通过研究两种正交策略来缓解此瓶颈：（1）通过多Token池化增加图到LLM接口的带宽，（2）通过全局注意力机制增强图编码器的语义质量。我们评估了一套层次化剪枝和基于聚类的池化算子，包括Top-k、SAGPool、DiffPool、MinCutPool和虚拟节点池化（VNPool），将图数据投影到多个可学习Token。经验上，我们证明尽管池化在软提示调优中引入显著不稳定，但低秩自适应（LoRA）有效稳定了特定的层次化投影（尤其是VNPool和剪枝方法），尽管密集聚类算子仍具挑战性。这种稳定化使压缩表示能够媲美全图基线（在WebQSP上达到约73%的Hit@1）。概念上，我们证明带有VNPool实现的图Transformer在结构上充当单层Perceiver IO编码器。最后，我们将FandE（Features and Edges）分数适配到生成式GraphQA领域。我们的分析揭示GraphQA基准存在表示饱和，目标答案通常与孤立节点特征高度相关。代码实现位于https://github.com/Agrover112/G-Retriever/tree/all_good/
引用
@article{arxiv.2604.00342,
title = {Is One Token All It Takes? Graph Pooling Tokens for LLM-based GraphQA},
author = {Ankit Grover and Lodovico Giaretta and Rémi Bourgerie and Sarunas Girdzijauskas},
journal= {arXiv preprint arXiv:2604.00342},
year = {2026}
}
备注
Accepted at LREC, KG-LLM Workshop 2026