基于迁移学习的熵优化半监督分解向量量化变分自编码器模型用于多类文本分类与生成
机器学习
2021-11-17 v1 信息论
math.IT
摘要
半监督文本分类在过去几年中已成为研究的主要焦点。迄今为止，大多数研究基于监督学习，但其主要缺陷在于实际应用中缺乏有标签的数据样本。在无监督条件下训练深度生成模型并学习全面表征仍是一项关键挑战。尽管连续潜变量主要应用于深度潜变量模型，但离散潜变量凭借其更强的可理解性和更优的压缩表征，已被研究者有效采用。本文提出一种用于多类文本分类与文本生成的半监督离散潜变量模型。所提模型采用迁移学习思想训练一个量化 Transformer 模型，该模型能够利用较少的标注样本胜任学习。模型应用分解向量量化技术以克服后验坍缩与索引坍缩等问题。对分解后的子编码器使用香农熵，并施加可变 DropConnect，以保留最大信息量。此外，在解码器到编码器的反向传播过程中对损失函数的梯度进行自适应修正，以提升模型性能。我们使用三个不同范围的常规数据集，在可变数量的标注样本下对所提模型进行验证。实验结果表明，所提模型显著超越了 SOTA 模型。
引用
@article{arxiv.2111.08453,
title = {Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation},
author = {Shivani Malhotra and Vinay Kumar and Alpana Agarwal},
journal= {arXiv preprint arXiv:2111.08453},
year = {2021}
}
备注
12 pages, 4 figures