面向主题模型的强化学习
计算与语言
2023-05-09 v1 机器学习
摘要
我们将强化学习技术应用于主题建模,用连续动作空间强化学习策略替换ProdLDA中的变分自编码器。我们使用策略梯度算法REINFORCE训练该系统。此外,我们引入了若干改进:现代化神经网络架构、对ELBO损失加权、使用上下文嵌入,以及通过为每个训练步计算主题多样性与连贯性来监控学习过程。实验在11个数据集上进行。我们的无监督模型优于所有其他无监督模型,并与大多数使用监督标注的模型表现相当或更好。在某些数据集上,我们的模型被一个使用监督标注与对比学习的模型超越。我们还进行了消融研究,以从我们所做ProdLDA改动中提供性能提升的实证证据,发现强化学习公式提升了性能。
引用
@article{arxiv.2305.04843,
title = {Reinforcement Learning for Topic Models},
author = {Jeremy Costello and Marek Z. Reformat},
journal= {arXiv preprint arXiv:2305.04843},
year = {2023}
}
备注
18 pages, 6 figures, Findings of ACL2023, code available at https://github.com/jeremy-costello/rl-for-topic-models