偏好驱动的知识蒸馏用于少样本节点分类
机器学习
2025-10-27 v3 社会与信息网络
摘要
图神经网络（GNN）由于其消息传递机制，可以高效处理文本属性图（TAG），但其训练严重依赖于人工标注的标签。此外，真实世界TAG节点复杂多样的局部拓扑结构使得单一机制难以处理。大语言模型（LLM）在TAG上的零样本/少样本学习中表现良好，但面临可扩展性挑战。因此，我们提出了一个偏好驱动的知识蒸馏（PKD）框架，以协同利用LLM和各种GNN的互补优势，用于少样本节点分类。具体来说，我们开发了一个GNN偏好驱动的节点选择器，有效地促进了从LLM到教师GNN的预测蒸馏。为了进一步处理节点复杂的局部拓扑结构，我们开发了一个节点偏好驱动的GNN选择器，为每个节点识别最合适的教师GNN，从而促进从教师GNN到学生GNN的定制化知识蒸馏。大量实验验证了我们提出的框架在真实世界TAG上进行少样本节点分类的有效性。我们的代码将公开。
引用
@article{arxiv.2510.10116,
title = {Preference-driven Knowledge Distillation for Few-shot Node Classification},
author = {Xing Wei and Chunchun Chen and Rui Fan and Xiaofeng Cao and Sourav Medya and Wei Ye},
journal= {arXiv preprint arXiv:2510.10116},
year = {2025}
}
备注
Accepted by NeurIPS 2025