面向多元时间序列的Transformer数据集驱动通道掩码
机器学习
2026-05-29 v4 人工智能
机器学习
摘要
基础模型的最新进展已成功扩展到时间序列（TS）领域，得益于大规模TS数据集的出现。然而，先前的努力主要关注捕捉通道依赖（CD），而这些方法主要侧重于修改架构，往往忽视了数据集特定特征的重要性。在本工作中，我们提出了部分通道依赖（PCD）的概念，通过利用数据集特定信息来细化模型捕捉的CD，从而增强基于Transformer的模型中的CD建模。为了实现PCD，我们提出了通道掩码（CMs），通过逐元素乘法集成到Transformer的注意力矩阵中。CMs由两个组件组成：1）捕捉通道间关系的相似性矩阵，以及2）数据集特定且可学习的领域参数，用于细化相似性矩阵。我们在多种任务和数据集上，使用不同骨干网络验证了PCD的有效性。代码可在以下仓库获取：https://github.com/YonseiML/pcd。
引用
@article{arxiv.2410.23222,
title = {Dataset-Driven Channel Masks in Transformers for Multivariate Time Series},
author = {Seunghan Lee and Taeyoung Park and Kibok Lee},
journal= {arXiv preprint arXiv:2410.23222},
year = {2026}
}
备注
ICASSP 2026. Preliminary version: NeurIPS Workshop on Time Series in the Age of Large Models 2024 (Oral presentation)