用于 COVID-19 增长预测的带预层归一化的深度 Transformer 模型
机器学习
2022-07-14 v1 人工智能
摘要
冠状病毒病或 COVID-19 是由 SARS-CoV-2 病毒引起的传染病。由该病毒引起的首例确诊于 2019 年 12 月底在中国武汉市发现。该病例随后蔓延至全球,包括印度尼西亚。因此,WHO 将 COVID-19 列为全球大流行。印度尼西亚等地的 COVID-19 病例增长可使用多种方法进行预测,例如深度神经网络(DNN)。可用的 DNN 模型之一是能够预测时间序列的 Deep Transformer。该模型通过若干测试场景进行训练以获得最佳模型。评估在于寻找最佳超参数。随后,使用最佳超参数设置,就预测天数、优化器、特征数量进行了进一步评估,并与先前的 Long Short-Term Memory (LSTM) 和 Recurrent Neural Network (RNN) 模型进行比较。所有评估均使用平均绝对百分比误差(MAPE)作为指标。根据评估结果,Deep Transformer 在使用预层归一化(Pre-Layer Normalization)且预测未来一天时取得最佳结果,MAPE 值为 18.83。此外,使用 Adamax 优化器训练的模型在所受测优化器中性能最佳。Deep Transformer 的性能也超过了其他被测模型 LSTM 与 RNN。
引用
@article{arxiv.2207.06356,
title = {Deep Transformer Model with Pre-Layer Normalization for COVID-19 Growth Prediction},
author = {Rizki Ramadhan Fitra and Novanto Yudistira and Wayan Firdaus Mahmudy},
journal= {arXiv preprint arXiv:2207.06356},
year = {2022}
}