REBAR：基于检索的重构用于时间序列对比学习
机器学习
2024-10-29 v4
摘要
自监督对比学习的成功取决于识别正数据对，使得当它们在嵌入空间中被拉近时，该空间能为后续下游任务编码有用信息。构建正数据对并非易事，因为配对必须相似到足以反映共享语义，又必须不同到足以捕捉类内变化。视觉中的经典方法利用增强来借助公认的不变性构建正对，但时间序列领域的不变性远不明显。在我们的工作中，我们提出一种使用学习度量来识别正对的新方法。我们的基于检索的重构 (Retrieval-Based Reconstruction, REBAR) 度量将两序列间的相似度度量为一序列用另一序列检索信息重构所产生的重构误差。然后，若两序列具有较高 REBAR 相似度，我们将其标记为正对。通过验证实验，我们表明 REBAR 误差是互属类别的成员关系的预测因子。一旦整合进对比学习框架，我们的 REBAR 方法学习到的嵌入在各种模态的下游任务上均达到最先进性能。
引用
@article{arxiv.2311.00519,
title = {REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning},
author = {Maxwell A. Xu and Alexander Moreno and Hui Wei and Benjamin M. Marlin and James M. Rehg},
journal= {arXiv preprint arXiv:2311.00519},
year = {2024}
}
备注
ICLR 2024 | Code available at: https://github.com/maxxu05/rebar