RITA：时间序列分析中只需组注意力
机器学习
2023-06-06 v1 人工智能
数据库
摘要
时间序列分析在许多真实应用中至关重要。近来，在自然语言处理中流行的 Transformer 模型被用于从时间序列中学习高质量特征嵌入，这是各类时间序列分析任务性能的核心。然而，二次的时间和空间复杂度限制了 Transformer 的可扩展性，尤其对长时间序列而言。为解决这些问题，我们开发了名为 RITA 的时间序列分析工具，其使用一种称为组注意力的新型注意力机制来解决该可扩展性问题。组注意力基于对象相似性动态将其聚类为少量组，并在粗粒度组级别近似计算注意力，从而显著降低时间与空间复杂度，同时为所计算注意力的质量提供理论保证。RITA 的动态调度器在训练过程中持续调整组数与批大小，确保组注意力始终使用满足近似质量要求所需的最少组数。在多种时间序列数据集与分析任务上的大量实验表明，RITA 在准确率上优于最优方法，且显著更快——加速比最高达 63 倍。
引用
@article{arxiv.2306.01926,
title = {RITA: Group Attention is All You Need for Timeseries Analytics},
author = {Jiaming Liang and Lei Cao and Samuel Madden and Zachary Ives and Guoliang Li},
journal= {arXiv preprint arXiv:2306.01926},
year = {2023}
}