mcBERT: 基于BERT的动量对比学习用于零样本槽填充
计算与语言
2022-06-29 v2 人工智能
机器学习
摘要
零样本槽填充已受到相当关注,以应对目标领域可用数据有限的问题。零样本学习中的一个重要因素是使模型学习到泛化且可靠的表示。为此,我们提出mcBERT,即momentum contrastive learning with BERT(基于BERT的动量对比学习),以开发一个鲁棒的零样本槽填充模型。mcBERT使用BERT初始化两个编码器(查询编码器与键编码器),并通过施加动量对比学习进行训练。我们在SNIPS基准上的实验结果表明,mcBERT大幅优于先前的模型,取得了新的state-of-the-art(SOTA,最优性能)。此外,我们还展示了构成mcBERT的各个组件均对性能提升有所贡献。
引用
@article{arxiv.2203.12940,
title = {mcBERT: Momentum Contrastive Learning with BERT for Zero-Shot Slot Filling},
author = {Seong-Hwan Heo and WonKee Lee and Jong-Hyeok Lee},
journal= {arXiv preprint arXiv:2203.12940},
year = {2022}
}
备注
Accepted to INTERSPEECH 2022