关系 Transformer：面向关系数据的零样本基础模型
机器学习
2026-03-03 v3 人工智能
数据库
摘要
预训练的 Transformer 能够通过零样本提示轻松适应新的序列建模任务，但关系领域仍缺乏能够跨数据集和任务迁移的架构。核心挑战在于关系数据的多样性，包括各异的模式、图结构和函数依赖。本文提出了关系 Transformer (RT) 架构，可在多样化的关系数据库上进行预训练，并直接应用于未见数据集和任务，无需特定于任务或数据集的微调，或检索情境中的示例。RT (i) 通过任务表提示集成任务说明；(ii) 对单元格/列元数据进行标记化；(iii) 通过掩码标记预测进行预训练；(iv) 使用新颖的关系注意力机制处理列、行以及主键-外键链接。在涵盖 churn 和销售预测等任务的 RelBench 数据集上预训练的 RT 在零样本性能上表现优异，单次前向传播即可获得 2200 万参数模型在二元分类任务上约 93% 的完全监督 AUROC，而 270 亿参数的 LLM 仅为 84%。微调后可获得最新结果，同时具有高样本效率。我们的实验分析表明，RT 的零样本迁移利用了任务上下文、关系注意力模式和模式语义。总体而言，RT 为关系数据提供了实用的基础模型之路。代码、模型、数据：https://github.com/snap-stanford/relational-transformer。
引用
@article{arxiv.2510.06377,
title = {Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data},
author = {Rishabh Ranjan and Valter Hudovernik and Mark Znidar and Charilaos Kanatsoulis and Roshan Upendra and Mahmoud Mohammadi and Joe Meyer and Tom Palczewski and Carlos Guestrin and Jure Leskovec},
journal= {arXiv preprint arXiv:2510.06377},
year = {2026}
}
备注
Accepted to ICLR 2026