PACTran:用于估计预训练模型对分类任务可迁移性的 PAC-Bayesian 度量

Nan Ding; Xi Chen; Tomer Levinboim; Beer Changpinyo; Radu Soricut

PACTran:用于估计预训练模型对分类任务可迁移性的 PAC-Bayesian 度量

机器学习 2022-07-20 v2

作者: Nan Ding , Xi Chen , Tomer Levinboim , Beer Changpinyo , Radu Soricut

摘要

近年来预训练模型日益丰富,为特定下游分类任务选择最佳预训练检查点的问题受到越来越多的关注。尽管近期提出了若干方法解决该选择问题(如LEEP、H-score),这些方法诉诸于缺乏学习理论充分动机的启发式方法。在本文中我们提出PACTran,一个具有理论依据的预训练模型选择与可迁移性度量的度量族。我们首先展示如何从迁移学习设置下的最优PAC-Bayesian界推导出PACTran度量。然后我们在若干视觉任务(VTAB)以及语言-视觉(OKVQA)任务上实证评估了PACTran的三种度量实例。结果分析表明,与现有选择方法相比,PACTran是一致且有效的可迁移性度量。

关键词

预训练模型选择可迁移性估计 PAC-Bayesian界分类任务迁移学习 LEEP H-score

引用

@article{arxiv.2203.05126,
  title  = {PACTran: PAC-Bayesian Metrics for Estimating the Transferability of Pretrained Models to Classification Tasks},
  author = {Nan Ding and Xi Chen and Tomer Levinboim and Beer Changpinyo and Radu Soricut},
  journal= {arXiv preprint arXiv:2203.05126},
  year   = {2022}
}

备注

European Conference on Computer Vision 2022 (oral)

PACTran:用于估计预训练模型对分类任务可迁移性的 PAC-Bayesian 度量

摘要

关键词

引用

备注

相关论文