SimPer:面向周期目标的简单自监督学习
机器学习
2023-02-22 v2 人工智能
计算机视觉与模式识别
摘要
从人类生理到环境演化,自然界中的重要过程常表现出有意义且强烈的周期或准周期变化。由于其固有的标签稀缺性,以有限或无监督学习周期任务的有用表示具有极大益处。然而,现有自监督学习(self-supervised learning, SSL)方法忽视了数据中的内在周期性,未能学习捕捉周期或频率属性的表示。本文中,我们提出 SimPer,一种用于学习数据中周期信息的简单对比 SSL 框架。为利用周期归纳偏置,SimPer 引入定制化增强、特征相似度度量以及广义对比损失,以学习高效且鲁棒的周期表示。在人体行为分析、环境感知和医疗健康领域的常见真实世界任务上的大量实验验证了 SimPer 相比最先进 SSL 方法的优越性能,突显其有趣特性包括更好的数据效率、对伪相关性的鲁棒性以及向分布偏移的泛化能力。代码与数据发布于:https://github.com/YyzHarry/SimPer。
引用
@article{arxiv.2210.03115,
title = {SimPer: Simple Self-Supervised Learning of Periodic Targets},
author = {Yuzhe Yang and Xin Liu and Jiang Wu and Silviu Borac and Dina Katabi and Ming-Zher Poh and Daniel McDuff},
journal= {arXiv preprint arXiv:2210.03115},
year = {2023}
}
备注
ICLR 2023 Oral (notable top 5%)