Orion-MSP：用于表格上下文学习的多尺度稀疏注意力
人工智能
2025-11-10 v3 机器学习
摘要
表格数据仍然是现实世界应用的主要格式。然而，由于异构特征类型和在多个尺度上发生的复杂交互，为表格数据开发有效的神经模型仍然具有挑战性。近期在表格上下文学习（ICL）方面的进展，如 TabPFN 和 TabICL，在无需任务特定微调的情况下，取得了与梯度提升树（GBT）相当的最先进性能。然而，当前的架构存在关键局限性：（1）单尺度特征处理，忽略了层次依赖关系；（2）密集注意力，其计算量随表格宽度呈二次方增长；（3）严格的顺序组件处理，阻止了迭代表示细化和跨组件通信。为了解决这些挑战，我们引入了 Orion-MSP，一种表格 ICL 架构，具有三个关键创新：（1）多尺度处理以捕获层次化特征交互；（2）块稀疏注意力，结合了窗口、全局和随机模式，以实现可扩展的效率和长程连接；（3）一种 Perceiver 风格的内存，支持跨组件的安全双向信息流。在多个基准测试中，Orion-MSP 达到或超越了最先进的性能，同时有效扩展到高维表格，为高效的表格上下文学习建立了新标准。该模型可在 https://github.com/Lexsi-Labs/Orion-MSP 公开获取。
引用
@article{arxiv.2511.02818,
title = {Orion-MSP: Multi-Scale Sparse Attention for Tabular In-Context Learning},
author = {Mohamed Bouadi and Pratinav Seth and Aditya Tanna and Vinay Kumar Sankarapu},
journal= {arXiv preprint arXiv:2511.02818},
year = {2025}
}