基于散度的领域可迁移性用于零样本分类
计算与语言
2023-03-01 v2
摘要
将预训练神经语言模型中学到的模式进行迁移，已证明可显著提升各类基于语言的任务效果，同时若中间任务与目标任务足够相关，进一步在中间任务上微调可带来额外性能收益。然而，如何识别相关任务仍是一个开放问题，且暴力搜索有效任务组合的成本高得令人望而却步。因此，一个问题随之产生：我们能否通过选择性微调来提升无训练样本任务的效果与效率？在本文中，我们探索以统计度量近似领域表示间散度的方法，以此估计使用某一任务对进行微调是否会较另一任务对表现出性能收益。该估计随后可用于通过剔除不太可能带来收益的任务对，减少需测试的任务对数量。通过在58个任务及逾6,600种任务对组合上的实验，我们证明了统计度量能够区分有效任务对，且所得估计可将端到端运行时间减少多达40%。
引用
@article{arxiv.2302.05735,
title = {Divergence-Based Domain Transferability for Zero-Shot Classification},
author = {Alexander Pugantsov and Richard McCreadie},
journal= {arXiv preprint arXiv:2302.05735},
year = {2023}
}
备注
Accepted at EACL 2023, Findings. Figure 1 caption corrected to describe NDCG@K graph (Figure 1 caption was mistakenly describing Figure 2 before correction)