GLL：神经网络的可微分图学习层
机器学习
2025-12-10 v2 机器学习
摘要
用于分类的标准深度学习架构通过投影头和softmax激活函数生成标签预测。尽管这些方法取得了成功，但它们未能利用样本之间的关联信息来生成标签预测。在近期工作中，基于图的学习技术（即拉普拉斯学习）被启发式地应用于神经网络，用于监督和半监督学习任务。然而，此前的工作要么近似损失函数相对于图学习算法的梯度，要么将两者解耦；未能实现与神经网络的端到端集成。在本工作中，我们通过伴随法推导了反向传播方程，以将一类通用的图学习层集成到神经网络中。所得方法区别于图神经网络，使我们能够精确地将相似性图构建和基于图拉普拉斯算子的标签传播集成到神经网络层中，以替代投影头和softmax激活函数用于通用分类任务。我们的实验结果展示了数据间平滑的标签转换、改进的泛化能力和对抗攻击的鲁棒性，以及相比标准softmax方法改进的训练动力学。
引用
@article{arxiv.2412.08016,
title = {GLL: A Differentiable Graph Learning Layer for Neural Networks},
author = {Jason Brown and Bohan Chen and Harris Hardiman-Mostow and Jeff Calder and Andrea L. Bertozzi},
journal= {arXiv preprint arXiv:2412.08016},
year = {2025}
}
备注
58 pages, 12 figures. Preprint. Submitted to the Journal of Machine Learning Research. v2: several new experiments, improved exposition