重新审视距离度量学习在少样本自然语言分类中的应用
计算与语言
2022-11-29 v1 人工智能
机器学习
摘要
距离度量学习（DML）近年来在图像处理领域备受关注。本文分析了在少样本学习设置下，DML对用于自然语言处理（NLP）分类任务的监督微调语言模型的影响。我们研究了在已知的SentEval迁移任务数据集上训练RoBERTa语言模型时的几种DML损失函数。我们还分析了在模型推理过程中使用基于代理的DML损失的可能性。我们的系统实验表明，在少样本学习设置下，特别是基于代理的DML损失可以对监督语言模型的微调和推理产生积极影响。使用CCE（分类交叉熵损失）和ProxyAnchor损失组合进行微调的模型，平均性能最佳，比仅使用CCE的模型高出约3.27个百分点——根据训练数据集的不同，最高可提升10.38个百分点。
引用
@article{arxiv.2211.15202,
title = {Revisiting Distance Metric Learning for Few-Shot Natural Language Classification},
author = {Witold Sosnowski and Anna Wróblewska and Karolina Seweryn and Piotr Gawrysiak},
journal= {arXiv preprint arXiv:2211.15202},
year = {2022}
}