User Ex Machina:作为人在回路文本分析中的设计探查的模拟

主题模型是广泛使用的用于聚类文档并呈现文本语料库主题元素的分析技术。这些模型仍难以优化,且常需要“人在回路”方法,即领域专家利用其知识进行引导和调节。然而,这些模型的脆弱性、不完备性和不透明性意味着即便微小改动也可能引发所得模型的巨大且潜在不期望的变化。在本文中,我们对以人为中心的主题模型交互进行基于模拟的分析,旨在度量主题模型对常见类别用户动作的敏感性。我们发现用户交互具有不同幅度的影响,但常以用户难以评估的方式负面作用于所得建模质量。我们建议将敏感性和“多重宇宙”分析纳入主题模型界面,以揭示并克服这些缺陷。