LimiX：解放结构化数据建模能力以实现通用智能
机器学习
2025-11-10 v2 人工智能
计算与语言
摘要
我们认为，通用智能的进展需要语言、物理世界和结构化数据相互支撑的基础模型。本报告介绍了 LimiX-16M 和 LimiX-2M 两个我们大型结构化数据模型 (LDMs) 的实例。这两个模型将结构化数据视为变量和缺失性之间的联合分布，因而能够通过单一模型的查询条件预测方式解决广泛的表格任务。它们采用掩码联合分布建模，并使用情景、上下文条件化目标进行预训练，支持推理时的快速、无训练适应。我们在 11 大型结构化数据基准上评估了 LimiX 模型，这些基准涵盖了样本规模、特征维度、类别数、类别-数值特征比例、缺失性以及样本-特征比等广泛的 regime。LimiX-16M 在所有基准上一致超越强大的基线方法，如图 1 和图 2 所示。这种优势在分类、回归、缺失值插值和数据生成等广泛任务中都显著，同时避免了任务特定的网络架构或针对每个任务的专门训练。值得注意的是，LimiX-2M 在紧张的计算和内存预算下也能提供出色的结果。我们还介绍了首个 LDMs 的规模定律研究，揭示了数据和模型规模如何联合影响下游性能，并为表格基础建模提供了量化指导。所有 LimiX 模型均在 Apache 2.0 许可下公开获取。
引用
@article{arxiv.2509.03505,
title = {LimiX: Unleashing Structured-Data Modeling Capability for Generalist Intelligence},
author = {Xingxuan Zhang and Gang Ren and Han Yu and Hao Yuan and Hui Wang and Jiansheng Li and Jiayun Wu and Lang Mo and Li Mao and Mingchao Hao and Ningbo Dai and Renzhe Xu and Shuyang Li and Tianyang Zhang and Yue He and Yuanrui Wang and Yunjia Zhang and Zijing Xu and Dongzhe Li and Fang Gao and Hao Zou and Jiandong Liu and Jiashuo Liu and Jiawei Xu and Kaijie Cheng and Kehan Li and Linjun Zhou and Qing Li and Shaohua Fan and Xiaoyu Lin and Xinyan Han and Xuanyue Li and Yan Lu and Yuan Xue and Yuanyuan Jiang and Zimu Wang and Zhenlei Wang and Peng Cui},
journal= {arXiv preprint arXiv:2509.03505},
year = {2025}
}
备注
61 pages