基于信息性先验的迁移学习：简单基线优于之前报告的效果
机器学习
2024-05-27 v1
摘要
我们致力于通过迁移学习来提高在目标任务上获得有限标注样本的分类器准确率。最近的工作表明，使用源任务学习神经网络权重的先验分布（不仅仅是初始化）可以提升目标任务性能。在本研究中，我们仔细比较了在 5 个数据集上进行的带和不带源任务信息先验的迁移学习。我们发现，仅受初始化启发的标准迁移学习在之前的比较中表现得远远好于报道的效果。不同数据集上使用信息性先验的方法与标准迁移学习之间的相对收益大小各不相同。对于 5-300 个每类示例的场景，我们发现 2 个数据集上获得负或可忽略的收益，另外 2 个数据集上获得适度收益（准确率提升 1.5-3 分），而在第 1 个数据集上获得显著收益（提升超过 8 分）。在使用信息性先验的方法中，我们发现各向同性协方差在与学习的低秩协方差矩阵相当，同时大大简化了理解和调优。在进一步分析中，我们发现关于信息性先验的机械论证——即假设其改进了训练与测试损失景观的对齐 —— 并不一致地得到支持，因为经验景观的高变动性。我们发布代码以允许独立复现所有实验。
引用
@article{arxiv.2405.15583,
title = {Transfer Learning with Informative Priors: Simple Baselines Better than Previously Reported},
author = {Ethan Harvey and Mikhail Petrov and Michael C. Hughes},
journal= {arXiv preprint arXiv:2405.15583},
year = {2024}
}