基于判别与生成式Transformer的情境实体分类模型
计算与语言
2021-09-16 v1 人工智能
摘要
我们重新审视情境实体（SE）分类任务，考察不同规模可用训练数据下的表现。我们利用基于Transformer的变分自编码器将句子编码至低维潜空间，用于生成文本并学习SE分类器。测试集与跨体裁评估显示，当训练数据充足时，所提模型可优于先前的判别式最优模型。我们的方法在较少训练数据下表现尤为突出，但在面临极小数据集（每标签4个样本）时，生成式RNN方法优于Transformer。我们的工作为SE与语义预测任务及低标签训练场景的未来研究提供了指导。
关键词
引用
@article{arxiv.2109.07434,
title = {Discriminative and Generative Transformer-based Models For Situation Entity Classification},
author = {Mehdi Rezaee and Kasra Darvish and Gaoussou Youssouf Kebe and Francis Ferraro},
journal= {arXiv preprint arXiv:2109.07434},
year = {2021}
}