面向视觉识别的联邦零样本学习
计算机视觉与模式识别
2022-09-07 v1
摘要
零样本学习（zero-shot learning, ZSL）是一种通过学习已见类别所获得的视觉-语义关系进行泛化，从而识别未见类别的学习范式。为获得有效的 ZSL 模型，人们可能求助于从多个来源整理训练样本，这不可避免地会引发关于跨组织数据共享的隐私担忧。本文提出一种新颖的联邦零样本学习 FedZSL 框架，该框架从驻留在边缘设备上的去中心化数据中学习一个中心模型。为更好地泛化到先前未见过的类别，FedZSL 允许每台设备上的训练数据采样自互不重叠的类别，这与传统联邦学习通常假设的独立同分布（i.i.d.）相去甚远。我们在 FedZSL 协议下识别出两个关键挑战：1）训练得到的模型容易偏向本地观测到的类别，从而无法泛化到未见类别和/或其他设备上出现的已见类别；2）由于训练数据中的每一类均来自单一来源，中心模型极易遭受模型替换（后门）攻击。为解决这些问题，我们提出了用于视觉-语义对齐和通过关系蒸馏进行跨设备对齐的三个局部目标，其利用归一化类间协方差来正则化跨设备预测 logits 的一致性。为防御后门攻击，提出了一种特征幅值防御技术。由于恶意样本与给定语义属性的相关性较低，幅值较低的特征将被丢弃以稳定模型更新。在三个零样本基准数据集上开展的广泛实验证明了 FedZSL 的有效性与鲁棒性。
引用
@article{arxiv.2209.01994,
title = {Federated Zero-Shot Learning for Visual Recognition},
author = {Zhi Chen and Yadan Luo and Sen Wang and Jingjing Li and Zi Huang},
journal= {arXiv preprint arXiv:2209.01994},
year = {2022}
}