面向特权基础模型：LUPI 以加速与改进学习
机器学习
2026-05-15 v2 人工智能
摘要
训练基础模型计算密集且收敛速度往往较慢。我们提出 PIQL (Privileged Information for Quick and Quality Learning)，首个系统性地将特权信息 (PI) 集成到表格型基础模型 (TFMs) 中，以同时加速学习与提升泛化能力的框架。我们构建两种互补的 PI：(i) 降低上下文学习负担的聚合数据集级统计信息；(ii) 编码数据生成程序的表征，提供超出可观测数据的知识。我们进一步设计了一种有效将训练时唯一的 PI 通过在推断时学习从观察上下文中重构它的架构。我们提供的理论分析刻画了 PI 在有限数据情形下减少 population 水平逼近差距并加速收敛的条件。实证结果表明，PIQL 使 TFMs 能够实现更快的收敛速度、更低的最终损失以及更好的泛化，从而降低数据与计算需求。我们的工作确立了以 PI 为导向的预训练作为提升基础模型效率与性能的原则性且可行的范式。
引用
@article{arxiv.2605.07799,
title = {Toward Privileged Foundation Models:LUPI for Accelerated and Improved Learning},
author = {Xueying Ding and Leman Akoglu},
journal= {arXiv preprint arXiv:2605.07799},
year = {2026}
}