通过丢弃补丁来增强掩码时间序列建模
机器学习
2024-12-23 v1 机器学习
摘要
本文探讨如何通过随机丢弃时间序列的子序列级补丁来增强现有的掩码时间序列建模。基于此，提出一种名为DropPatch的简单而有效的方法，该方法具有两个显著优势：1）通过平方级优势提高预训练效率；2）在域内、跨域、少样本学习和冷启动等场景中提供额外优势。本文进行了全面的实验来验证该方法的有效性并分析其内部机制。经验上，DropPatch加强了注意力机制，减少了信息冗余，作为数据增强的有效手段。理论上，证明DropPatch通过随机丢弃补丁，减缓了Transformer表示向秩-1线性子空间中的崩溃速度，从而优化所学表征的质量。
引用
@article{arxiv.2412.15315,
title = {Enhancing Masked Time-Series Modeling via Dropping Patches},
author = {Tianyu Qiu and Yi Xie and Yun Xiong and Hao Niu and Xiaofeng Gao},
journal= {arXiv preprint arXiv:2412.15315},
year = {2024}
}