时间序列领域鲁棒深度模型的训练：新算法与理论分析
机器学习
2022-07-14 v2
摘要
尽管深度神经网络(DNNs)在移动健康等时间序列数据的实际应用中取得成功，但由于时间序列相较于图像和文本数据的独特特性，如何训练鲁棒 DNNs 知之甚少。本文提出一种称为时间序列鲁棒训练(RO-TS)的新算法框架，为时间序列分类任务创建鲁棒 DNNs。具体而言，我们通过基于全局对齐核(GAK)距离度量的对时间序列输入加性扰动，显式刻画鲁棒性准则，从而在对模型参数上构造极小极大优化问题。我们还通过关联 GAK 与动态时间规整(DTW)，利用时间序列对齐的求和结构展示了我们公式的通用性与优势。该问题是组合极小极大优化问题族的一个实例，具有挑战性且开放，理论保证不明。我们针对该优化问题族提出一种原则性的随机组合交替梯度下降上升(SCAGDA)算法。与需要近似计算距离度量的传统时间序列方法不同，SCAGDA 使用滑动平均方法即时近似基于 GAK 的距离。我们从理论上分析了 SCAGDA 的收敛速率，并为基于 GAK 的距离估计提供了有力理论支撑。在真实基准上的实验表明，与依赖数据增强或新损失函数定义的既有对抗训练方法相比，RO-TS 创建了更鲁棒的 DNNs。我们还展示了 GAK 对时间序列数据相对于欧氏距离的重要性。RO-TS 算法的源代码可在 https://github.com/tahabelkhouja/Robust-Training-for-Time-Series 获取。
引用
@article{arxiv.2207.04305,
title = {Training Robust Deep Models for Time-Series Domain: Novel Algorithms and Theoretical Analysis},
author = {Taha Belkhouja and Yan Yan and Janardhan Rao Doppa},
journal= {arXiv preprint arXiv:2207.04305},
year = {2022}
}
备注
Published AAAI 2022