基于信息准则的特征选择中的迁移学习
机器学习
2022-05-31 v2 机器学习
摘要
本文研究了基于 Mallows' Cp 的迁移学习的有效性。我们提出了一种将迁移学习与 Mallows' Cp 相结合的过程（TLCp），并证明其在精度与稳定性上优于传统的 Mallows' Cp 准则。我们的理论结果表明，对于目标域中任意样本量，所提出的 TLCp 估计量在正交预测变量情形下按均方误差（MSE）度量优于 Cp 估计量，前提是 i）源域与目标域任务间差异较小，且 ii）过程参数（复杂度惩罚）按某些显式规则调节。此外，我们表明我们的迁移学习框架可扩展至其他特征选择准则，如贝叶斯信息准则。通过分析正交化 Cp 的解，我们确定了一个在非正交预测变量情形下渐近逼近 Cp 准则解的估计量。对于非正交 TLCp 也得到了类似结果。最后，仿真研究与实际数据应用展示了 TLCp 方案的实用性。
引用
@article{arxiv.2107.02847,
title = {Transfer Learning in Information Criteria-based Feature Selection},
author = {Shaohan Chen and Nikolaos V. Sahinidis and Chuanhou Gao},
journal= {arXiv preprint arXiv:2107.02847},
year = {2022}
}
备注
Accepted to the Journal of Machine Learning Research