用于表格先验数据拟合网络的状态空间模型
机器学习
2025-12-12 v2
摘要
近期在表格数据基础模型方面的进展，例如 TabPFN，证明了预训练的 Transformer 架构能够以高预测性能近似贝叶斯推断。然而，Transformer 存在关于序列长度的二次复杂度问题，这促使我们探索更高效的序列模型。在这项工作中，我们研究了使用 Hydra（一种双向线性时间结构化状态空间模型（SSM））作为 TabPFN 中 Transformer 替代方案的潜力。一个关键挑战在于 SSM 对输入令牌顺序固有的敏感性——这对于行顺序在语义上无意义的表格数据集来说是一个不理想的特性。我们研究了双向方法在多大程度上能够保持效率并实现对称的上下文聚合。我们的实验表明，这种方法减少了对顺序的依赖性，实现了与原始 TabPFN 模型具有竞争力的预测性能。
引用
@article{arxiv.2510.14573,
title = {State-Space Models for Tabular Prior-Data Fitted Networks},
author = {Felix Koch and Marcel Wever and Fabian Raisch and Benjamin Tischler},
journal= {arXiv preprint arXiv:2510.14573},
year = {2025}
}