Tab-PET：面向表格转换器的图结构位置编码
机器学习
2025-12-18 v2
摘要
表格数据的监督学习存在独特挑战，包括数据规模偏小、缺乏结构线索以及跨越分类和连续域的异构特征。不同于视觉和语言任务，表格数据缺乏内在位置结构，限制了自注意力机制的效果。虽然近期基于转换器的模型如 TabTransformer、SAINT 和 FT-Transformer（本文统称为 3T）在表格数据上展现前景，但它们通常不利用结构线索如位置编码（PE），因无先验结构信息可供利用。本文在理论与实证层面表明，结构线索——尤其是位置编码——可作为提升表格转换器泛化性能的有用工具。我们发现，位置编码能够降低特征的有效秩（一种内在维数），从而通过降低问题维度来简化任务，实现更好的泛化。为此，我们提出 Tab-PET（PEs for Tabular Transformers），一个用于估计和嵌入位置编码的图结构框架。灵感来自从图拓扑结构派生位置编码的方法，我们探索两种图估计范式：关联驱动和因果驱动。我们在 50 个分类和回归数据集上实证表明，图派生位置编码显著提升了 3T 的性能。值得注意的是，关联驱动图始终比因果驱动图在稳定性和提升幅度上更为突出。本文揭示了位置编码在表格转换器中的意外作用，展示了如何利用其改善泛化能力。
引用
@article{arxiv.2511.13338,
title = {Tab-PET: Graph-Based Positional Encodings for Tabular Transformers},
author = {Yunze Leng and Rohan Ghosh and Mehul Motani},
journal= {arXiv preprint arXiv:2511.13338},
year = {2025}
}
备注
Accepted to AAAI-26