ETran：基于能量的可迁移性估计
计算机视觉与模式识别
2023-08-07 v1
摘要
本文解决为目标检测和图像分类任务对预训练模型进行排序的问题。通过微调来选取最佳预训练模型是一项昂贵且耗时的任务。先前的工作提出了基于预训练模型所提取特征的可迁移性估计。我们认为，量化目标数据集对于预训练模型而言是分布内（IND）还是分布外（OOD），是可迁移性估计中的一个重要因素。为此，我们提出 ETran，一种基于能量的可迁移性评估指标，其包含三个分数：1）能量分数，2）分类分数，3）回归分数。我们使用基于能量的模型来判断目标数据集对预训练模型是 OOD 还是 IND。与先前工作不同，ETran 适用于广泛任务，包括分类、回归以及目标检测（分类+回归）。这是首个提出针对目标检测任务的可迁移性估计的工作。我们在四个基准和两个任务上的大量实验表明，ETran 在目标检测和分类基准上分别平均超越先前工作 21% 和 12%，并在可迁移性评估中达到 SOTA。
引用
@article{arxiv.2308.02027,
title = {ETran: Energy-Based Transferability Estimation},
author = {Mohsen Gholami and Mohammad Akbari and Xinglu Wang and Behnam Kamranian and Yong Zhang},
journal= {arXiv preprint arXiv:2308.02027},
year = {2023}
}