在文本排序的模型选择中利用估计的迁移性而非人类直觉
人工智能
2024-09-25 v1
摘要
文本排序领域取得了显著进展，这归功于由预训练语言模型（PLMs）增强的双编码器的应用。随着可用 PLMs 的激增，为给定数据集选择最有效的模型已成为一项极具挑战性的任务。作为人类直觉和暴力微调的一种有前景的替代方案，迁移性估计（TE）已成为一种有效的模型选择方法。然而，当前的 TE 方法主要为分类任务设计，其估计的迁移性可能与文本排序的目标并不一致。为应对这一挑战，我们提出计算期望排名作为迁移性，以明确反映模型的排序能力。此外，为缓解各向异性并结合训练动态，我们自适应地缩放各向同性句子嵌入，以产生准确的期望排名分数。我们由此提出的方法自适应排序迁移性（AiRTran），能够有效捕捉模型间的细微差异。在各种文本排序数据集的极具挑战性的模型选择场景中，与以往面向分类的 TE 方法、人类直觉以及 ChatGPT 相比，该方法表现出显著提升，且时间消耗极少。
引用
@article{arxiv.2409.16198,
title = {Leveraging Estimated Transferability Over Human Intuition for Model Selection in Text Ranking},
author = {Jun Bai and Zhuofan Chen and Zhenzi Li and Hanhua Hong and Jianfei Zhang and Chen Li and Chenghua Lin and Wenge Rong},
journal= {arXiv preprint arXiv:2409.16198},
year = {2024}
}
备注
Accepted by EMNLP 2024 main conference