MirrorWiC：从预训练语言模型中引出语境中的词表征
计算与语言
2021-09-21 v1
摘要
近期研究表明，诸如 BERT 和 RoBERTa 之类的预训练语言模型 (PLMs) 即使通过简单的自监督技术也能转化为有效的句子和词编码器。受此工作启发，本文提出一种完全无监督的方法来改进 PLM 中语境中的词 (WiC) 表征，通过一种简单高效的面向 WiC 的微调流程实现：MirrorWiC。所提方法仅利用从 Wikipedia 采样的原始文本，假设无义项标注数据，并在标准对比学习设置中学习上下文感知的词表征。我们在多种语言的一系列标准和全面的 WiC 基准上进行了实验。我们提出的完全无监督 MirrorWiC 模型在所有单语、多语和跨语设置上均比开箱即用的 PLM 获得显著提升。此外，在一些标准 WiC 基准上，MirrorWiC 甚至与使用任务内数据和义项标签微调的有监督模型相当。
引用
@article{arxiv.2109.09237,
title = {MirrorWiC: On Eliciting Word-in-Context Representations from Pretrained Language Models},
author = {Qianchu Liu and Fangyu Liu and Nigel Collier and Anna Korhonen and Ivan Vulić},
journal= {arXiv preprint arXiv:2109.09237},
year = {2021}
}
备注
CoNLL 2021