面向边缘设备的无需模型微调的分布外少样本学习
计算机视觉与模式识别
2023-04-14 v1
摘要
通过有限数据定制深度学习网络实现的少样本学习(FSL)已成为在边缘设备上实现个性化用户体验的一种有前景的技术。然而,现有FSL方法主要假设独立同分布(IID)数据,并利用针对每个任务的计算反向传播更新或带有任务特定原型的通用模型。遗憾的是,前者对于缺乏设备上反向传播能力的边缘设备不可行,而后者常受限于有限的泛化能力,尤其对于分布外(OOD)数据。本文提出一种轻量、即插即用的FSL模块,称为任务感知归一化(TANO),它无需反向传播即可实现深度神经网络的高效且任务感知的适配。TANO通过在元训练期间协调若干组归一化统计量的更新来覆盖多个用户组的属性,并自动为下游少样本任务识别合适的归一化组。因此,TANO提供稳定但任务特定的归一化统计量估计,以缩小分布差距并实现高效的模型适配。在域内和域外泛化实验上的结果表明,TANO在精度、推理速度和模型大小方面优于近期方法。此外,TANO在广泛使用的FSL基准和来自真实应用的数据上取得了有前景的结果。
引用
@article{arxiv.2304.06309,
title = {Out-of-distribution Few-shot Learning For Edge Devices without Model Fine-tuning},
author = {Xinyun Zhang and Lanqing Hong},
journal= {arXiv preprint arXiv:2304.06309},
year = {2023}
}