情境化主题一致性度量
计算与语言
2023-05-25 v1 信息检索
摘要
近期神经主题建模工作的爆发被批评为以优化自动化主题评估指标为代价，忽视了实际有意义主题的识别。但人工标注仍然昂贵且耗时。我们提出受标准人类主题评估启发的基于LLM的方法，属于一组称为情境化主题一致性（CTC）的度量。我们评估了完全自动化版本以及半自动化CTC，后者在保持自动化方法效率的同时允许以人为中心的一致性评估。我们在六个主题模型上将CTC相对于其他五种度量进行评估，发现它优于自动化主题一致性方法，在短文档上表现良好，且不易受无意义但高分主题的影响。
引用
@article{arxiv.2305.14587,
title = {Contextualized Topic Coherence Metrics},
author = {Hamed Rahimi and Jacob Louis Hoover and David Mimno and Hubert Naacke and Camelia Constantin and Bernd Amann},
journal= {arXiv preprint arXiv:2305.14587},
year = {2023}
}