面向表格数据内在学习的 Orion-Bix：双轴注意力
机器学习
2026-02-12 v2 人工智能
机器学习
摘要
表格数据驱动着大多数实际的机器学习应用，但构建面向它们的通用模型仍然具有挑战性。混合数值和类别字段、弱特征结构以及有限的标记数据使得规模化和泛化具有挑战。为了应对这一问题，我们引入 Orion-Bix，这是一个结合双轴注意力与元学习内在推理的表格基础模型，适用于少样本表格学习。其编码器交替使用标准注意力、分组注意力、层次注意力和关系注意力，通过多 CLS 汇总融合其输出，高效地捕获局部和全局依赖关系。一个标签感知的内在学习 (ICL) 头可动态适应，并通过层次决策路由扩展到大规模标签空间。在合成生成的、结构多样且具有因果先验的表格上进行元训练，Orion-Bix 学习了跨异构数据的可迁移归纳偏置。作为与 scikit-learn 兼容的基础模型，它在公共基准测试中超越了梯度提升基线，与最新的表格基础模型保持竞争力，表明双轴注意力与 episodes 元训练能够实现稳健、少样本就绪的表格学习。该模型已公开发布于 https://github.com/Lexsi-Labs/Orion-BiX。
引用
@article{arxiv.2512.00181,
title = {Orion-Bix: Bi-Axial Attention for Tabular In-Context Learning},
author = {Mohamed Bouadi and Pratinav Seth and Aditya Tanna and Vinay Kumar Sankarapu},
journal= {arXiv preprint arXiv:2512.00181},
year = {2026}
}