面向基于Transformer的句子分类器的零样本序列标注
计算与语言
2021-06-10 v2 人工智能
摘要
我们研究了如何在无任何直接监督的情况下，将句子级Transformer修改为词元级有效的序列标注器。现有的零样本序列标注方法在应用于基于Transformer的架构时表现不佳。由于Transformer包含多层多头自注意力，句子中的信息分散于众多词元之间，对零样本词元级性能产生负面影响。我们发现，一种显式鼓励注意力权重锐化的软注意力模块可显著优于现有方法。
引用
@article{arxiv.2103.14465,
title = {Zero-shot Sequence Labeling for Transformer-based Sentence Classifiers},
author = {Kamil Bujel and Helen Yannakoudakis and Marek Rei},
journal= {arXiv preprint arXiv:2103.14465},
year = {2021}
}