SmallML：面向小数据预测分析的贝叶斯迁移学习
机器学习
2025-11-19 v1 机器学习
摘要
中小型企业（SMEs）代表美国99.9%的企业，却因其运营规模与现代机器学习数据需求之间的不匹配，系统性地被排除在AI之外。本文介绍SmallML，一个贝叶斯迁移学习框架，能够以50-200条观察数据的规模实现企业级预测精度。我们构建三层架构，集成迁移学习、层次贝叶斯建模和共形预测。第1层通过基于SHAP的程序将知识从22,673条公共记录迁移到Logistic回归中，提取有用的先验分布。第2层在J=5-50家SMEs之间实现层次化池化，采用自适应收缩，平衡总体模式与实体特定特征。第3层提供具有有限样本覆盖保证P(y in C(x)) >= 1-alpha的共形集，实现分布自由的不确定性量化。在客户流失数据验证中，100个观察数据/家企业实现96.7% +/- 4.2%的AUC——比独立Logistic回归（72.5% +/- 8.1%）提高了24.2分，p < 0.000001。共形预测在90%目标覆盖率下实现92%的经验覆盖。训练在标准CPU硬件上33分钟完成。通过使3300万家美国SMEs（此前被排除在机器学习之外）能够实现企业级预测，SmallML解决了AI民主化中的关键缺口。
引用
@article{arxiv.2511.14049,
title = {SmallML: Bayesian Transfer Learning for Small-Data Predictive Analytics},
author = {Semen Leontev},
journal= {arXiv preprint arXiv:2511.14049},
year = {2025}
}
备注
64 pages, 5 figures, 15 tables