利用大数据实现计算与内存高效的鲁棒预测分析
机器学习
2024-07-04 v1 人工智能
图像与视频处理
摘要
在当前数据密集型时代，大数据已成为人工智能（AI）的重要资产，是开发数据驱动模型的基础，并为各种未知领域提供洞察。本研究探讨了利用大数据应对数据不确定性、存储限制和预测性数据驱动建模的挑战。我们利用鲁棒主成分分析（RPCA）进行有效的降噪和异常值消除，并利用最优传感器布置（OSP）进行高效的数据压缩和存储。所提出的 OSP 技术能够在不造成大量信息损失的情况下实现数据压缩，同时减少存储需求。尽管对于高维数据管理，RPCA 提供了优于传统主成分分析（PCA）的增强替代方案，但本工作扩展了其应用范围，重点关注适用于实时海量数据集的鲁棒数据驱动建模。为此，将长短期记忆（LSTM）网络（一种循环神经网络）应用于基于 OSP 获得的低维子集进行数据建模和预测，从而显著加速训练阶段。LSTM 能够捕捉时间序列数据中的长期依赖关系，使其特别适合基于历史数据预测物理系统的未来状态。本文提出的所有算法不仅进行了理论化阐述，还使用绘制船舶发动机图像的真实热成像数据进行了仿真和验证。
引用
@article{arxiv.2403.19721,
title = {Computationally and Memory-Efficient Robust Predictive Analytics Using Big Data},
author = {Daniel Menges and Adil Rasheed},
journal= {arXiv preprint arXiv:2403.19721},
year = {2024}
}