使用主题建模和聚类技术探索航空事故叙事
人工智能
2025-01-15 v1 计算与语言
摘要
航空安全是全球性关切，需对事件进行详细调查以全面理解其影响因素。本研究使用国家运输安全委员会 (NTSB) 数据集。它应用了各种高级自然语言处理 (NLP) 技术，包括潜在狄利克雷分解 (LDA)、非负矩阵分解 (NMF)、潜在语义分析 (LSA)、概率潜在语义分析 (pLSA) 和 K 均值聚类。主要目标是识别潜在主题、探索语义关系、评估概率连接，并基于共享特征对事件进行聚类。该研究通过从复杂数据集中提取有价值信息，为航空安全提供见解，并展示了 NLP 和主题建模技术的多样性。结果包括来自各种技术方法识别的主题，提供了对重复性主题的理解。比较分析显示，LDA 的整合度最高，分别为0.597，pLSA为0.583，LSA为0.542，NMF为0.437。K 均值聚类进一步揭示了事件叙事之间的常见性和独特见解。总之，本研究揭示了事件叙事中潜在模式和主题结构，提供了多种主题建模技术的比较分析。未来的研究方向包括探索时序模式、纳入更多数据集并开发用于早期识别安全问题的预测模型。该研究为通过利用事件叙事中嵌入的大量信息来增进对航空安全的理解和改进奠定了基础。
引用
@article{arxiv.2501.07924,
title = {Exploring Aviation Incident Narratives Using Topic Modeling and Clustering Techniques},
author = {Aziida Nanyonga and Hassan Wasswa and Ugur Turhan and Keith Joiner and Graham Wild},
journal= {arXiv preprint arXiv:2501.07924},
year = {2025}
}