NeuroMax：通过最大化互信息和群主题正则化增强神经主题模型
计算与语言
2024-10-01 v1
摘要
近期神经主题模型的进展主要集中于两个方向：将推断网络(编码器)与预训练语言模型(PLM)集成，以及在生成模型(解码器)中建模单词与主题之间的关系。然而，大规模PLM的使用显著增加推理成本，在需要低推理时间的情境下不够实用。此外，必须同时建模主题与单词之间的关系以及主题之间相互关系。在本工作中，我们提出了一种新框架NeuroMax(利用最大化与预训练语言模型的互信息和群主题正则化的神经主题模型)，以解决上述挑战。NeuroMax最大化来自神经主题模型中获得的主题表示与来自PLM中获得的表示之间的互信息。此外，NeuroMax采用最优传输来通过分析信息在主题之间如何被传输来学习主题之间的关系。实验结果表明，NeuroMax降低了推理时间，生成更具一致性的主题和主题组，并产生更具代表性的文档嵌入，从而提升了下游任务的性能。
引用
@article{arxiv.2409.19749,
title = {NeuroMax: Enhancing Neural Topic Modeling via Maximizing Mutual Information and Group Topic Regularization},
author = {Duy-Tung Pham and Thien Trang Nguyen Vu and Tung Nguyen and Linh Ngo Van and Duc Anh Nguyen and Thien Huu Nguyen},
journal= {arXiv preprint arXiv:2409.19749},
year = {2024}
}
备注
Findings of EMNLP 2024