mCPT在SemEval-2023任务3中的工作：面向少样本与零样本框架检测的多语言标签感知对比预训练Transformer
计算与语言
2023-08-02 v3 人工智能
机器学习
摘要
本文介绍了在零样本西班牙语框架检测任务中获胜的系统，该系统还在另外八种语言中取得了具有竞争力的排名。框架检测任务的挑战在于，当仅可用少量或零样本时（即多语言多标签少样本或零样本设定），识别出一组14种框架。我们开发的解决方案采用基于多语言Transformer的预训练流程，使用标签感知对比损失函数。除描述该系统外，我们进行了嵌入空间分析与消融研究，以展示我们的预训练流程如何支持框架检测，从而推进计算框架分析。
引用
@article{arxiv.2303.09901,
title = {mCPT at SemEval-2023 Task 3: Multilingual Label-Aware Contrastive Pre-Training of Transformers for Few- and Zero-shot Framing Detection},
author = {Markus Reiter-Haas and Alexander Ertl and Kevin Innerebner and Elisabeth Lex},
journal= {arXiv preprint arXiv:2303.09901},
year = {2023}
}
备注
Presented at SemEval'23