小规模基于可穿戴设备的任务中何种对比学习策略更为有效？
机器学习
2022-02-15 v1 人工智能
摘要
自监督学习建立了一种利用极少甚至无需标签标注来学习表征的新范式。近来，大规模对比学习模型取得了显著进展，这类模型需要大量计算资源，但对于小规模任务而言并非实际最优。为弥补这一不足，我们旨在研究基于可穿戴设备的活动识别任务中的对比学习。具体而言，我们从算法层面和任务层面两个视角对对比学习进行了深入研究。在算法层面分析中，我们将对比模型分解为若干关键组件，并通过严谨的实验评估来更好地理解对比学习背后的有效性与原理。更为重要的是，在任务层面分析中，我们表明基于可穿戴设备的信号给现有对比模型带来了独特的挑战与机遇，而这些无法由现有算法轻易解决。我们详实的实证研究提出了重要实践建议，并为未来的研究挑战指明了方向。同时，本文提出了一个开源 PyTorch 库 \texttt{CL-HAR}，可作为研究人员的实用工具。该库高度模块化且易于使用，为未来快速探索新型对比模型开辟了途径。
引用
@article{arxiv.2202.05998,
title = {What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks?},
author = {Hangwei Qian and Tian Tian and Chunyan Miao},
journal= {arXiv preprint arXiv:2202.05998},
year = {2022}
}
备注
Preprint