上下文嵌入空间中用于文本分类的流形外正则化
计算与语言
2021-05-17 v1 人工智能
摘要
近期关于带有预训练权重（即 BERT）的神经网络的研究主要集中于低维子空间，该子空间由输入词（或其上下文）计算得到的嵌入向量所在。在本工作中，我们提出一种新方法，用于发现并正则化该空间的剩余部分，即无法通过词访问的所谓流形外（out-of-manifold）空间。具体而言，我们基于从实际观测词获得的两个嵌入来合成流形外嵌入，以用于微调网络。我们训练一个判别器来检测输入嵌入是否位于流形内部，同时优化一个生成器以产生能被判别器轻易识别为流形外的新嵌入。这两个模块以统一且端到端的方式成功协作，对流形外空间进行正则化。我们在多个文本分类基准上的广泛评估证明了我们方法的有效性，以及其与现有旨在增强流形的数据增强技术的良好兼容性。
引用
@article{arxiv.2105.06750,
title = {Out-of-Manifold Regularization in Contextual Embedding Space for Text Classification},
author = {Seonghyeon Lee and Dongha Lee and Hwanjo Yu},
journal= {arXiv preprint arXiv:2105.06750},
year = {2021}
}
备注
ACL2021 main conference