感知与学习：面向无处不在传感器的自监督
机器学习
2021-09-07 v2 机器学习
摘要
从由无处不在的感知系统(或广义IoT)产生的多传感器数据中学习通用表征在多样化用例中具有众多应用。现有的纯监督端到端深度学习技术依赖于大量精心整理数据的可用性，获取此类数据极其困难，但为实现对所关注任务的充分泛化水平所必需。在本工作中，我们利用自监督学习范式以实现从无标注输入中持续学习的愿景。我们提出一个名为Sense and Learn的通用框架，用于从原始传感数据进行表征或特征学习。它包含若干辅助任务，可完全从无标注数据中学习高层且广泛有用的特征，无需人工参与繁琐的标注过程。我们在来自不同领域的数个公开数据集及多种设定(包括线性可分性、半监督或少样本学习以及迁移学习)上展示了我们方法的有效性。我们的方法取得与监督方法竞争的结果，并在多数情况下通过微调网络同时学习下游任务而缩小差距。特别地，我们表明自监督网络可用作初始化，以在每类仅少至5个标注样本的低数据体制下显著提升性能，这对现实问题具有高度实际重要性。同样，自监督学习到的表征被发现可在相关数据集间高度可迁移，即便目标域仅有少量标注样本可用。我们方法的自学习性质为设备上持续学习开启了令人兴奋的可能性。
引用
@article{arxiv.2009.13233,
title = {Sense and Learn: Self-Supervision for Omnipresent Sensors},
author = {Aaqib Saeed and Victor Ungureanu and Beat Gfeller},
journal= {arXiv preprint arXiv:2009.13233},
year = {2021}
}