从谱系角度评估深度状态空间模型的时间序列训练数据集
机器学习
2024-08-30 v1 人工智能
摘要
本研究探讨了一种评估深度神经网络（DNN）中基于状态空间模型（deep SSMs）在训练数据集上的表现的方法。状态空间模型因被用于处理时间序列数据而受到关注。由于深度 SSMs 拥有强大的表示能力，训练数据集在解决新任务方面起着关键作用。然而，直到实际在数据集上训练深度 SSMs 后，才能知道数据集的有效性。这会增加新任务数据收集的成本，因为需要进行数据收集和耗时的训练的试错过程，以获得必要的性能。为了推动深度 SSMs 的实际应用，评估数据集的度量标准可以在训练初期估计性能，这是一个关键要素。为此，我们引入了系统辨识中用于评估数据集的方法。对于线性动力系统的系统辨识，输入信号的谱系用于评估数据集的有效性。我们将这一概念引入深度 SSMs，而深度 SSMs 是非线性动力系统。我们提出了 K-谱系度量（K-spectral metric），即聚焦于深度 SSMs 中每个层可视为线性动力系统这一事实后，信号内部前 K 大谱系之和。我们的实验表明，K-谱系度量与性能相关系数的绝对值较大，可用于评估训练数据集的质量。
引用
@article{arxiv.2408.16261,
title = {Evaluating Time-Series Training Dataset through Lens of Spectrum in Deep State Space Models},
author = {Sekitoshi Kanai and Yasutoshi Ida and Kazuki Adachi and Mihiro Uchida and Tsukasa Yoshida and Shin'ya Yamaguchi},
journal= {arXiv preprint arXiv:2408.16261},
year = {2024}
}
备注
11 pages, 5 figures