用于评估迁移学习的简单控制基线
计算机视觉与模式识别
2022-02-08 v1 机器学习
摘要
近年来迁移学习取得了显著进展，例如基于增强的对比自监督学习方法的引入。尽管已对这类模型的迁移性能开展了大量大规模实证研究，但尚未有一套公认的用于控制基线、评估实践和报告指标的集合，这往往阻碍了对方法真实效能的细致且校准的理解。我们分享了一种评估标准，旨在以信息丰富且易于理解的设置量化和传达迁移学习性能。这是通过在评估方法中嵌入若干简单但关键的控制基线来实现的，特别是盲猜（量化数据集偏差）、从零训练模型（量化架构贡献）和最大监督（量化上界）。为展示该评估标准如何应用，我们提供了一个示例实证研究，调查关于自监督学习的几个基本问题。例如，使用该标准，研究表明现有自监督预训练方法的有效性偏向于图像分类任务而非密集逐像素预测。总体而言，我们鼓励在评估迁移学习时使用/报告所建议的控制基线，以获得更有意义和信息的理解。
引用
@article{arxiv.2202.03365,
title = {Simple Control Baselines for Evaluating Transfer Learning},
author = {Andrei Atanov and Shijian Xu and Onur Beker and Andrei Filatov and Amir Zamir},
journal= {arXiv preprint arXiv:2202.03365},
year = {2022}
}
备注
Project website: https://transfer-controls.epfl.ch