使用 Spark 机器学习模型对机票定价数据进行预测分析
机器学习
2023-10-13 v1 分布式、并行与集群计算
摘要
本文讨论了利用 r2（r-square，决定系数）和 RMSE 对机票定价数据进行的预测性能与处理过程，所用数据集源自 Expedia.com，包含约 2000 万条记录或 4.68 GB。该项目旨在确定可用于真实世界预测美国境内直飞航班机票价格的最佳模型。因此，良好的泛化能力与优化的处理时间是模型的重要衡量指标。我们将利用特征重要性发掘关键业务洞察，并讨论分析所用的过程与工具。使用了四种回归机器学习算法：Random Forest、Gradient Boost Tree、Decision Tree 和 Factorization Machines，并采用 Cross Validator 与 Training Validator 函数评估性能与泛化能力。
引用
@article{arxiv.2310.07787,
title = {Using Spark Machine Learning Models to Perform Predictive Analysis on Flight Ticket Pricing Data},
author = {Philip Wong and Phue Thant and Pratiksha Yadav and Ruta Antaliya and Jongwook Woo},
journal= {arXiv preprint arXiv:2310.07787},
year = {2023}
}
备注
4 pages, 13 figures, 1 table