从表格到信号：揭示 TabPFN 中的谱适应性
机器学习
2025-11-25 v1 计算机视觉与模式识别
摘要
任务无关的表格基础模型如 TabPFN 在表格学习任务中取得了令人印象深刻的性能，但其归纳偏置的来源仍鲜有了解。本文通过信号重构的视角研究 TabPFN，并为其 in-context learning 行为提供首次的频率分析。我们表明，TabPFN 的有效频率容量超出标准 ReLU-MLP，即使无需调优超参数亦然。此外，与 MLPs 在训练历元中主要演化频谱容量不同，我们发现 TabPFN 的频谱容量直接适应于 in-context 提供的样本数量，这一现象我们称为谱适应性（Spectral Adaptivity）。我们进一步演示，位置编码调制了 TabPFN 的频率响应，呼应了隐式神经表示中的经典结果。最后，我们表明，这些特性使 TabPFN 能够进行无训练、无超参数的图像去噪，凸显其作为通用隐式模型的潜力。我们的分析为表格基础模型的结构和归纳偏置提供了新见解，并凸显其在更广泛信号重构任务中的前景。
引用
@article{arxiv.2511.18278,
title = {From Tables to Signals: Revealing Spectral Adaptivity in TabPFN},
author = {Jianqiao Zheng and Cameron Gordon and Yiping Ji and Hemanth Saratchandran and Simon Lucey},
journal= {arXiv preprint arXiv:2511.18278},
year = {2025}
}