证据优于直觉：用于编码器选择的迁移性估计
计算与语言
2022-10-21 v1
摘要
随着自然语言处理（NLP）中大型预训练语言模型（LM）可用性的增加，事先评估它们对特定目标任务的适配性变得至关重要——因为对所有可用 LM 进行微调在计算上难以承受且不可持续。然而，NLP 中的编码器迁移性估计几乎未受关注。本文中，我们提出生成定量证据，以预测在模型池中哪个 LM 在目标任务上表现最佳，而无需对所有候选模型进行微调。我们对涵盖分类与结构化预测两类基本问题类型的 10 个 NLP 任务上的 LM 排序提供了全面研究。我们采用了计算机视觉（CV）中最先进的最大证据对数（LogME）度量，发现其在 94% 的实验设定中与最终 LM 性能正相关。作为同类研究的首次探索，我们进一步将迁移性度量与从业者人工排序的事实标准进行比较，发现定量度量的证据比纯粹直觉更鲁棒，并有助于识别出乎意料的 LM 候选。
引用
@article{arxiv.2210.11255,
title = {Evidence > Intuition: Transferability Estimation for Encoder Selection},
author = {Elisa Bassignana and Max Müller-Eberstein and Mike Zhang and Barbara Plank},
journal= {arXiv preprint arXiv:2210.11255},
year = {2022}
}
备注
Accepted at EMNLP 2022 (main conference)