回归任务的简单可迁移性估计
机器学习
2023-12-05 v2 人工智能
机器学习
摘要
我们考虑可迁移性估计问题，即估计深度学习模型从源任务迁移到目标任务的效果。我们关注先前很少受关注的回归任务，并提出两种简单且计算高效的方案，基于线性回归模型的负正则化均方误差来估计可迁移性。我们证明了将我们的方法与迁移学习过程所得最优目标模型的实际可迁移性相联系的新理论结果。尽管简单，我们的方法在准确率和效率上均显著优于现有的最先进回归可迁移性估计器。在两个大规模关键点回归基准上，我们的方法平均取得比先前 SOTA 方法好 12% 至 36% 的结果，同时至少快 27%。
引用
@article{arxiv.2312.00656,
title = {Simple Transferability Estimation for Regression Tasks},
author = {Cuong N. Nguyen and Phong Tran and Lam Si Tung Ho and Vu Dinh and Anh T. Tran and Tal Hassner and Cuong V. Nguyen},
journal= {arXiv preprint arXiv:2312.00656},
year = {2023}
}
备注
Paper published at The 39th Conference on Uncertainty in Artificial Intelligence (UAI) 2023