关系数据库上预训练时的不稳定表现
机器学习
2023-02-10 v1 机器学习
摘要
我们探索在从关系数据库（RDBs）提取的子图上训练的图神经网络（GNN）自监督学习（SSL）方法的下游任务表现。直观上，SSL 与 GNN 的联合使用应能利用更多可用数据，从而转化为更好的结果。然而，我们发现朴素地移植对比 SSL 技术会导致“负迁移”：在预训练模型固定表示上的线性评估表现比随机初始化模型表示上的更差。基于对比 SSL 与 GNN 的消息传递层相冲突的猜想，我们提出 InfoNode：一种旨在最大化节点初始层与最终层表示之间互信息的对比损失。主要实证结果支持我们的猜想以及 InfoNode 的有效性。
引用
@article{arxiv.2211.05213,
title = {Flaky Performances when Pretraining on Relational Databases},
author = {Shengchao Liu and David Vazquez and Jian Tang and Pierre-André Noël},
journal= {arXiv preprint arXiv:2211.05213},
year = {2023}
}