神经主题模型失效了吗？
计算与语言
2022-10-31 v1 人机交互
摘要
近来，主题模型的自动化评估与人类评估之间的关系受到质疑。方法开发者将新主题模型变体的有效性寄托于自动化度量，而这些度量未能近似人类偏好，使这些模型立于不确定之地。此外，现有评估范式常脱离实际用途。受内容分析作为主题建模主导性实际用例的驱动，我们分析了影响主题模型在该用途下实际有效性与可信度的两个相关方面：其估计的稳定性，以及模型发现的类别与数据中人类确定的类别的一致程度。我们发现，相较于一种既有的经典方法，神经主题模型在这两方面均表现更差。我们通过证明一种直接的集成方法能够可靠地优于集成中的各个成员，朝着协同解决这两个问题迈出了一步。
引用
@article{arxiv.2210.16162,
title = {Are Neural Topic Models Broken?},
author = {Alexander Hoyle and Pranav Goel and Rupak Sarkar and Philip Resnik},
journal= {arXiv preprint arXiv:2210.16162},
year = {2022}
}
备注
Accepted to Findings of EMNLP 2022