基于协变量的鲁棒部分信息传递:条件斜率- slab 先验
机器学习
2025-12-09 v3 统计方法学
机器学习
摘要
迁移学习的流行源于其能够从有用的辅助数据集中借助信息。现有的统计迁移学习方法通常采用源数据与目标数据之间的全局相似性度量,这在仅共享部分信息时可能导致效率低下。本文提出了一种名为 ``CONCERT'' 的新型贝叶斯迁移学习方法,以实现高维数据分析中的鲁棒性部分信息传递。引入条件斜率- slab 先验于目标参数与源参数的联合分布中,以实现信息传递。通过纳入协变量特定的先验,可刻画部分相似性并协同整合源信息以提高目标上的性能。与现有工作不同,CONCERT 是一个一步程序,同时实现变量选择和信息传递。我们为 CONCERT 建立了变量选择一致性,以及估计和预测误差界。我们的理论阐明了迁移学习中协变量特定的优势。为确保算法的可扩展性,我们采用变分贝叶斯框架以便于实现。大量实验和两个实际数据应用展示了 CONCERT 在现有前沿迁移学习方法中的有效性和优势。
关键词
引用
@article{arxiv.2404.03764,
title = {Covariate-Elaborated Robust Partial Information Transfer with Conditional Spike-and-Slab Prior},
author = {Ruqian Zhang and Yijiao Zhang and Annie Qu and Zhongyi Zhu and Juan Shen},
journal= {arXiv preprint arXiv:2404.03764},
year = {2025}
}
备注
35 pages, 4 figures