使用 LDA、NMF 和 PLSA 分析航空安全叙事：基于 Socrata 数据集的案例研究
机器学习
2025-01-06 v1
摘要
本研究探讨了主题建模技术 Latent Dirichlet Allocation (LDA)、Nonnegative Matrix Factorization (NMF) 和 Probabilistic Latent Semantic Analysis (PLSA) 在 1908 至 2009 年 Socrata 数据集上的应用。按运营商标识类型（军用、商用和私人）进行分类后，分析确定了关键主题，如飞行员失误、机械故障、天气条件和训练不足。研究突出了每种方法的独特优势：LDA 能够揭示重叠主题，NMF 能够生成独特且可解释的主题，而 PLSA 尽管解释复杂，却能提供细致的概率洞察。统计分析显示，PLSA 的连贯性得分为 0.32，困惑度值为 -4.6，NMF 分别为 0.34 和 37.1，而 LDA 取得了 0.36 的最高连贯性，但记录了 38.2 的最高困惑度。这些发现证明了主题建模在从非结构化航空安全叙事中提取可操作见解方面的价值，有助于识别跨部门的风险因素和改进领域。未来方向包括整合额外的上下文变量、利用神经主题模型以及加强航空安全协议。本研究为航空安全管理中的高级文本挖掘应用奠定了基础。
引用
@article{arxiv.2501.01690,
title = {Analyzing Aviation Safety Narratives with LDA, NMF and PLSA: A Case Study Using Socrata Datasets},
author = {Aziida Nanyonga and Graham Wild},
journal= {arXiv preprint arXiv:2501.01690},
year = {2025}
}