勿冻结：微调编码器以提升自监督人类活动识别
机器学习
2023-07-04 v1 人工智能
摘要
近期，自监督学习被引入人类活动识别领域，作为标注数据稀缺问题的一种解决方案。其思路是通过重构或对比预测编码等 pretext 任务学习有用表征，再将其用于分类。这些方法遵循预训练、冻结与微调的流程。本文中我们将展示一个简单的改动——不冻结表征——可在各类 pretext 任务中带来显著的性能提升。该改进在全部四个被测数据集和全部四种 pretext 任务中均存在，且与标注数据量成反比。此外，无论 pretext 任务是在 Capture24 数据集上进行，还是直接在目标数据集的未标注数据中开展，该效应均成立。
引用
@article{arxiv.2307.01168,
title = {Don't freeze: Finetune encoders for better Self-Supervised HAR},
author = {Vitor Fortes Rey and Dominique Nshimyimana and Paul Lukowicz},
journal= {arXiv preprint arXiv:2307.01168},
year = {2023}
}