面向关系深度学习的任务无关对比预训练
机器学习
2025-07-01 v1 数据库
摘要
关系深度学习（RDL）是一种新兴范式，利用图神经网络原理直接从关系型数据库中学习，通过将其表示为异构图。然而，现有 RDL 模型通常依赖于任务特定的监督学习， requiring 为每个预测任务训练独立模型，可能阻碍可扩展性和复用。在本工作中，我们提出了一种 novel 的任务无关对比预训练方法，用于 RDL，以实现数据库范围内的表示学习。为此，我们引入了三级对比目标——行级、链级和 context 级——旨在捕捉关系数据固有的结构和语义异质性。我们通过模块化 RDL 架构和针对异构数据库环境的高效抽样策略实现了相应的预训练方法。我们的初步结果在标准 RDL 基准测试数据集上表明，fine-tuning 预训练模型显著优于从头训练，验证了所提方法在学习可迁移关系数据表示方面的潜力。
引用
@article{arxiv.2506.22530,
title = {Task-Agnostic Contrastive Pretraining for Relational Deep Learning},
author = {Jakub Peleška and Gustav Šír},
journal= {arXiv preprint arXiv:2506.22530},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2506.22199