半监督学习中的最优精确恢复：谱方法与图卷积网络研究
机器学习
2024-12-19 v1 概率论
统计理论
机器学习
统计理论
摘要
我们深入探讨了 Contextual Stochastic Block Model (CSBM) 数据集上半监督节点分类的挑战。在该模型中，来自双簇随机块模型（SBM）的节点与特征向量耦合，这些特征向量由与其各自节点标签对应的高斯混合模型（GMM）生成。由于仅有部分 CSBM 节点标签可用于训练，我们的主要目标是对剩余节点进行准确分类。在直推式学习场景中，我们首次精确定位了 CSBM 中所有测试节点精确恢复的信息论阈值。同时，我们设计了一种受主成分分析（PCA）启发的最优谱估计器，利用了训练标签以及来自邻接矩阵和特征向量的关键数据。我们还在该合成数据集上评估了图岭回归和图卷积网络（GCN）的有效性。我们的研究结果强调，当使用最优加权自环时，图岭回归和 GCN 能够以类似于最优估计器的方式达到精确恢复的信息阈值。这突显了特征学习在提升 GCN 能力方面的潜在作用，尤其是在半监督学习领域。
引用
@article{arxiv.2412.13754,
title = {Optimal Exact Recovery in Semi-Supervised Learning: A Study of Spectral Methods and Graph Convolutional Networks},
author = {Hai-Xiao Wang and Zhichao Wang},
journal= {arXiv preprint arXiv:2412.13754},
year = {2024}
}
备注
Accepted by ICML 2024. The conference version can be accessed via https://openreview.net/forum?id=8m4V6Fx6ma