SelfReplay：通过自适应元任务重放调整自监督感知模型
信号处理
2025-03-21 v2 机器学习
摘要
自监督学习已成为一种利用大量无标签数据预训练模型的方法，为各种移动感知应用提供了有效的特征提取器。然而，当部署给终端用户时，这些模型遇到了由用户多样性引起的显著域偏移。我们研究了在异构域中微调自监督模型时发生的性能下降。为了解决这个问题，我们提出了 SelfReplay，一个用于个性化自监督模型的小样本域适应框架。SelfReplay 提出使用自监督元学习进行初始模型预训练，随后通过使用用户特定数据重放自监督来进行用户端模型适应。这使得模型能够仅用少量样本就将其预训练表征调整至该用户。使用四个基准的评估表明，SelfReplay 的平均 F1 分数比现有基线高出 8.8%p。我们在商用现成（COTS）智能手机上进行的设备端计算开销分析表明，SelfReplay 在不显眼的延迟内（三分钟）完成适应，且仅消耗 9.54% 的内存，证明了所提方法的计算效率。
引用
@article{arxiv.2404.15305,
title = {SelfReplay: Adapting Self-Supervised Sensory Models via Adaptive Meta-Task Replay},
author = {Hyungjun Yoon and Jaehyun Kwak and Biniyam Aschalew Tolera and Gaole Dai and Mo Li and Taesik Gong and Kimin Lee and Sung-Ju Lee},
journal= {arXiv preprint arXiv:2404.15305},
year = {2025}
}
备注
Accepted to the 23rd ACM Conference on Embedded Networked Sensor Systems (ACM SenSys 2025)