作为神经增强器的 Transformer：基于变分贝叶斯的类条件句子生成
计算与语言
2022-05-20 v1 机器学习
摘要
近年来自然语言处理任务的数据增强方法得到探索，然而它们存在局限，且难以在句子层面捕捉多样性。此外，在有监督任务上并不总是能够进行数据增强。为解决这些问题，我们提出了一种神经数据增强方法，其为条件变分自编码器与编码器-解码器 Transformer 模型的结合。在编码和解码输入句子时，我们的模型借助其类条件捕捉输入语言的句法与语义表示。继过去数年预训练语言模型的进展，我们在若干基准上训练和评估我们的模型以强化下游任务。我们将我们的方法与 3 种不同的增强技术进行比较。所呈现的结果表明，与其他数据增强技术相比，我们的模型以少量的计算能力提升了当前模型的性能。
引用
@article{arxiv.2205.09391,
title = {Transformers as Neural Augmentors: Class Conditional Sentence Generation via Variational Bayes},
author = {M. Şafak Bilici and Mehmet Fatih Amasyali},
journal= {arXiv preprint arXiv:2205.09391},
year = {2022}
}