基于贝叶斯迁移学习的增强估计与推断
统计方法学
2024-12-05 v1
摘要
迁移学习通过利用相关研究的知识来增强目标人群中受样本限制的模型性能。虽然许多作品聚焦于提高预测性能，但统计推断方面的挑战仍然存在。贝叶斯方法天然为参数估计提供不确定性量化，但现有的贝叶斯迁移学习方法通常仅限于单来源场景或需要个体层面数据。我们引入 TRansfer leArning via guideD horseshoE priOr（TRADER）方法，通过预训练模型实现多来源迁移，适用于高维线性回归。TRADER 将目标参数向源估计的加权平均值收缩，容纳不同尺度的来源。理论分析表明，当来源与目标一致时，TRADER 在后验收缩速率上优于标准连续收缩先验，同时防止来自异构来源的负迁移。对有限样本边际后验行为的分析显示，TRADER 实现了预期的频繁覆盖概率，即使对于信号强度适中的系数也如此——而标准连续收缩先验在此场景中则难以做到。大量数值研究和真实数据应用表明，TRADER 在仅使用目标数据的情况下，比连续收缩先验在估计和推断准确性上更优，同时优于需要个体层面数据的最新迁移学习方法。
引用
@article{arxiv.2412.02986,
title = {Bayesian Transfer Learning for Enhanced Estimation and Inference},
author = {Daoyuan Lai and Oscar Hernan Madrid Padilla and Tian Gu},
journal= {arXiv preprint arXiv:2412.02986},
year = {2024}
}
备注
40 pages, 4 figures, 1 Table