基于 Apache Spark 的大数据在拥堵检测与分类中的应用
分布式、并行与集群计算
2021-01-19 v1 机器学习
摘要
随着大数据时代到来，可用信息量呈爆发式增长。学术界与工业界中大数据的急剧增长需要大规模数据处理系统。大量研究致力于优化 Spark 的性能，使其成为最先进的快速通用数据处理系统。诸多科学与工程领域已借助大数据分析取得进展，如生物学、金融与交通。智能交通系统(ITS)日益普及并直接从信息丰富性中获益。其目标是通过减少拥堵与事件来提升交通网络的安全性与管理水平。实现该目标的第一步是高效且有效地理解、建模并检测网络中的拥堵。本研究提出一种高效的拥堵检测模型。底层网络由 I-35、I-80、I-29 和 I-380 高速公路的 3017 个路段组成，总长 1570 英里，路段平均长度 0.4-0.6 英里。拥堵检测结果表明，所提方法准确率达 90%，同时将计算时间减少了 99.88%。
引用
@article{arxiv.2101.06524,
title = {Big Data application in congestion detection and classification using Apache spark},
author = {Atousa Zarindast and Anuj Sharma},
journal= {arXiv preprint arXiv:2101.06524},
year = {2021}
}