神经主题模型真的需要 Dropout 吗？Dropout 在主题建模中效果的分析
计算与语言
2023-03-29 v1 机器学习
摘要
Dropout 是一种广泛用于解决在小数据集上训练的大型前馈神经网络过拟合问题的正则化技巧，此类网络在留出测试子集上表现不佳。尽管该正则化技巧在卷积神经网络中的有效性已被广泛研究，但针对无监督模型尤其是基于 VAE 的神经主题模型的分析仍然缺乏。本文中，我们利用四个公开可用数据集，分析了在三种广泛使用的神经主题模型（即上下文主题模型（CTM）、ProdLDA 和嵌入主题模型（ETM））的 VAE 架构编码器与解码器中 dropout 的后果。我们从生成主题的质量与预测性能方面刻画了 dropout 对这些模型的影响。
引用
@article{arxiv.2303.15973,
title = {Do Neural Topic Models Really Need Dropout? Analysis of the Effect of Dropout in Topic Modeling},
author = {Suman Adhya and Avishek Lahiri and Debarshi Kumar Sanyal},
journal= {arXiv preprint arXiv:2303.15973},
year = {2023}
}
备注
Accepted at EACL 2023