面向低资源环境的多模态时序分析：数据挖掘与语言模型指令调优在企业时空预测中的应用
机器学习
2024-08-27 v1 人工智能
摘要
时空预测在交通、物流和供应链管理中至关重要，但现有方法在处理大规模复杂数据集时表现不佳。我们提出一种动态多模态方法，融合传统预测方法与小型语言模型时序趋势分析的优势。该方法采用混合专家（MoE）架构，结合参数高效微调（PEFT）技术，针对消费级硬件进行优化，在低资源环境下实现AI规模化应用，同时在性能与延迟之间取得平衡。此外，我们利用相关历史经验处理相似输入时序数据，实现对非平稳数据既内部分析又跨系列依赖的高效处理，采用时空分层建模方法，引入分组查询注意力机制，缓解传统预测技术在分布迁移问题上的局限。我们的模型构建预测不确定性以提升决策质量。该框架支持本地化定制，计算和内存需求显著降低，同时保持推理速度和数据隐私安全。广泛的真实数据集实验表明，我们的方法在准确率和鲁棒性上显著优于现有方法。
引用
@article{arxiv.2408.13622,
title = {Advancing Enterprise Spatio-Temporal Forecasting Applications: Data Mining Meets Instruction Tuning of Language Models For Multi-modal Time Series Analysis in Low-Resource Settings},
author = {Sagar Srinivas Sakhinana and Geethan Sannidhi and Chidaksh Ravuru and Venkataramana Runkana},
journal= {arXiv preprint arXiv:2408.13622},
year = {2024}
}
备注
Published at the ICLR 2024 Workshop on Practical ML for Low Resource Settings(PML4LRS)