主题模型中停用词概率的可视化探索
人机交互
2025-01-20 v1 机器学习
摘要
停用词删除是许多机器学习方法中的关键步骤,但往往鲜受关注，它干扰了模型可视化并破坏用户信心。不恰当选择或仓促忽略的停用词不仅导致次优性能，还显著影响模型质量，从而降低实践者和利益相关者依赖输出可视化结果的意愿。本文提出了一种新颖的提取方法，提供基于语料库的停用词可能性概率估计，并构建了一个交互式可视化系统以支持其分析。我们使用真实数据、常用机器学习方法（主题建模）以及综合的定性实验评估了我们的方案和界面。本文的研究结果表明，我们的系统通过（1）返回合理的概率值、（2）生成恰当且具有代表性的停用词列表扩展，以及（3）提供用于估计和可视化分析停用词的可调阈值，提高了用户对主题模型可信度的信心。最后，我们讨论了见解、建议以及最佳实践，以支持实践者在应用鲁棒停用词分析和删除时改进机器学习方法和主题模型可视化输出。
引用
@article{arxiv.2501.10137,
title = {Visual Exploration of Stopword Probabilities in Topic Models},
author = {Shuangjiang Xue and Pierre Le Bras and David A. Robb and Mike J. Chantler and Stefano Padilla},
journal= {arXiv preprint arXiv:2501.10137},
year = {2025}
}