通过在大语言模型上积累知识实现高效的图神经网络设计
机器学习
2026-02-12 v3 人工智能
摘要
高层自动化在人工智能中正变得越来越重要，这得益于大语言模型（LLM）和人工智能代理的快速发展。然而，尽管LLM具有通用推理能力，但它们在诸如设计图神经网络（GNN）等专业、数据敏感的任务中仍存在显著困难。这种困难源于（1）在建模图属性与合适架构之间的复杂多变关系时固有的知识缺口，以及（2）来自误导性描述输入的外部噪声，常常导致通用甚至误导性的模型建议。由于现有自动化方法在元知识的构建和应用方面效率低下，实现设计数据感知模型的能力——即系统性地积累、解释和应用特定于数据的设计知识的元层级能力——仍然具有挑战性。为实现元层级的高效性，我们提出了 DesiGNN，一个以知识为中心的系统框架，将过去的模型设计经验转化为结构化的、细粒度的知识先验，非常适合与LLM进行元学习。为应对固有的变异性和外部噪声，DesiGNN 将来自广泛基准的实证属性过滤与通过LLM自适应引用的文献见解进行对齐。通过在未见图理解与已知有效架构模式之间构建坚实的元知识，DesiGNN 能在数秒内为未见数据集提供前 5.77% 的初始模型建议，并以最小的搜索成本实现持续优于基线的性能。
引用
@article{arxiv.2408.06717,
title = {Proficient Graph Neural Network Design by Accumulating Knowledge on Large Language Models},
author = {Jialiang Wang and Hanmo Liu and Shimin Di and Zhili Wang and Jiachuan Wang and Lei Chen and Xiaofang Zhou},
journal= {arXiv preprint arXiv:2408.06717},
year = {2026}
}
备注
Accepted at WSDM 2026. Title changed from "Computation-friendly graph neural network design by accumulating knowledge on large language models" to "Proficient Graph Neural Network Design by Accumulating Knowledge on Large Language Models"