中文

面向时间序列的自动对比学习策略搜索

机器学习 2024-10-24 v3

摘要

近年来,对比学习(CL)已成为时间序列领域主流的表示学习范式。大多数现有方法通过人工启发式,针对特定数据集和任务手动构建特定的对比学习策略(CLS)。然而,手动开发CLS通常需要对数据有过多的先验知识,并进行大量实验以确定具体的对比学习配置。本文介绍了微软的一项自动机器学习(AutoML)实践,该实践可自动为时间序列数据集和任务学习CLS,即自动对比学习(AutoCL)。我们首先构建了一个规模超过3×10¹²的原则性搜索空间,涵盖数据增强、嵌入变换、对比对构建和对比损失。进一步,我们引入了一种高效的强化学习算法,该算法根据验证任务上的性能优化CLS,以在搜索空间内获得有效的CLS。在多个真实世界数据集上的实验结果表明,AutoCL能够自动为给定的数据集和任务找到合适的CLS。从AutoCL在几个公共数据集/任务上找到的候选CLS中,我们组合了一个可迁移的通用良好策略(GGS),该策略对其他数据集具有很强的性能。我们还提供了实证分析,作为未来CLS设计的指南。

关键词

引用

@article{arxiv.2403.12641,
  title  = {Automated Contrastive Learning Strategy Search for Time Series},
  author = {Baoyu Jing and Yansen Wang and Guoxin Sui and Jing Hong and Jingrui He and Yuqing Yang and Dongsheng Li and Kan Ren},
  journal= {arXiv preprint arXiv:2403.12641},
  year   = {2024}
}

备注

Accepted by CIKM'2024. Fixed typos