关系迁移学习中的任务稀缺与标签泄漏
机器学习
2026-04-01 v1
摘要
训练关系基础模型需要学习可跨任务迁移的表示，然而可用的监督通常仅限于每个数据库中的少量预测目标。这种任务稀缺导致学习到的表示编码了任务特定的捷径，即使在相同模式内也会降低迁移性能，我们将此问题称为标签泄漏。我们使用K-Space研究这一问题，这是一种模块化架构，结合了冻结的预训练表格编码器与轻量级消息传递核心。为抑制泄漏，我们引入了一种梯度投影方法，从表示更新中移除标签预测方向。在RelBench上，这使数据集内迁移平均提高了+0.145 AUROC，通常恢复到接近单任务性能。我们的结果表明，有限的任务多样性（而不仅仅是有限的数据）制约了关系基础模型。
引用
@article{arxiv.2603.29914,
title = {Task Scarcity and Label Leakage in Relational Transfer Learning},
author = {Francisco Galuppo Azevedo and Clarissa Lima Loures and Denis Oliveira Correa},
journal= {arXiv preprint arXiv:2603.29914},
year = {2026}
}
备注
Accepted at the 3rd DATA-FM Workshop at ICLR 2026, Rio de Janeiro, Brazil. OpenReview: https://openreview.net/forum?id=nI2nsMMHXp