Rough Transformers for Continuous and Efficient Time-Series Modelling
计算机视觉与模式识别
2024-03-18 v1
摘要
现实医疗场景中的时间序列数据通常表现为长程依赖且观测间隔不均匀。在此情境下，传统的序列式循环模型难以应对。为克服此困难，研究者采用基于神经ODE的模型处理不规则采样数据，并引入基于Transformer的架构以捕获长程依赖。尽管上述方法取得成功，但两者对中等长度以上的输入序列计算成本极高。为缓解此问题，我们提出Rough Transformer——一种基于连续时间表示输入序列的Transformer变体，计算成本显著降低，尤为解决医疗场景中常见的长程依赖问题所关键。具体而言，我们提出多视图签名注意力机制，利用路径签名增强基础注意力机制，以捕获输入数据中的局部与全局依赖，同时对序列长度和采样频率的变化具有鲁棒性。我们发现，Rough Transformer在合成数据和真实时间序列任务上均显著优于其基础注意力方案，同时以更少的计算时间和内存资源获得神经ODE模型的优势。
引用
@article{arxiv.2403.10287,
title = {Few-Shot Image Classification and Segmentation as Visual Question Answering Using Vision-Language Models},
author = {Tian Meng and Yang Tao and Ruilin Lyu and Wuliang Yin},
journal= {arXiv preprint arXiv:2403.10287},
year = {2024}
}