RELIANT：面向图神经网络公平知识蒸馏的框架
机器学习
2023-01-05 v2 计算机与社会
摘要
图神经网络（GNNs）在各种图学习任务上展现出令人满意的性能。为获得更好的拟合能力，大多数GNN具有大量参数，这使得这些GNN计算开销大。因此，难以将它们部署到计算资源稀缺的边缘设备上，例如手机和可穿戴智能设备。知识蒸馏（KD）是压缩GNN的常用方案，其中轻量模型（即学生模型）被鼓励去模仿计算昂贵的GNN（即教师GNN模型）的行为。然而，大多数现有的基于GNN的KD方法缺乏公平性考量。结果，学生模型通常会继承甚至放大来自教师GNN的偏差。为处理这一问题，我们迈出了面向GNN公平知识蒸馏的第一步。具体而言，我们首先形式化了基于GNN的教师-学生框架中公平知识蒸馏这一新问题。随后我们提出了一个名为RELIANT的原则性框架，以缓解学生模型表现出的偏差。值得注意的是，RELIANT的设计与任何特定的教师和学生模型结构解耦，因此可轻松适配各种基于GNN的KD框架。我们在多个真实世界数据集上进行了广泛实验，证实了RELIANT在保持高预测效用的同时实现了偏差更小的GNN知识蒸馏。
引用
@article{arxiv.2301.01150,
title = {RELIANT: Fair Knowledge Distillation for Graph Neural Networks},
author = {Yushun Dong and Binchi Zhang and Yiling Yuan and Na Zou and Qi Wang and Jundong Li},
journal= {arXiv preprint arXiv:2301.01150},
year = {2023}
}
备注
Published as a conference paper in SDM 2023