针对零样本图问的自适应拓扑表示

大型多模态模型 (LMM) 在 diverse domain question-answering (QA) 任务中展现出广泛的零样本能力，包括涉及复杂图拓扑的图 QA。然而，现有的大多数方法仅使用单一类型的图表示，即 Topology Representation Form (TRF)，如 prompt-unified 文本描述或 style-fixed 视觉样式。这些“one-size-fits-all”方法未能考虑不同模型或任务的具体偏好，常导致错误或过长的响应。为此，我们首先分析现有 TRF 的特征和弱点，然后设计了一组针对零样本图 QA 的 TRF，记为 $F_{ZS}$。随后，我们引入新指标 Graph Response Efficiency (GRE)，衡量图 QA 中性能和简洁性之间的平衡。基于此，我们开发了 DynamicTRF 框架，旨在提高图 QA 的准确度和简洁性。具体而言，DynamicTRF 首先创建一个 TRF Preference (TRFP) 数据集，该数据集依据 GRE 分数对 TRF 进行排序，以探测问题特定的 TRF 偏好。然后它在 TRFP 数据集上训练一个 TRF router，以在推理期间为每个问题自适应分配 $F_{ZS}$ 中最佳的 TRF。跨 7 个领域内算法图 QA 任务和 2 个领域外下游任务的广泛实验表明，DynamicTRF 在 LMM 的零样本图 QA 中在准确度方面显著提升。