重平衡零样本学习
计算机视觉与模式识别
2023-08-09 v2
摘要
零样本学习（ZSL）旨在训练时利用零样本识别未见类。广义而言，现有 ZSL 方法通常采用类级语义标签，并将其与实例级语义预测进行比较以推断未见类。然而，我们发现此类现有模型大多产生不平衡的语义预测，即这些模型对某些语义可精确预测，而对其他语义则不然。为解决该缺陷，我们旨在将不平衡学习框架引入 ZSL。但我们发现不平衡 ZSL 面临两个独特挑战：（1）其不平衡预测与语义标签的取值高度相关，而非如传统不平衡学习通常所考虑的样本数量；（2）不同语义在类间遵循差异很大的误差分布。为缓解这些问题，我们首先将 ZSL 形式化为一个不平衡回归问题，并提供经验证据来解释语义标签如何导致不平衡的语义预测。随后我们提出一种称为重平衡均方误差（ReMSE）的重新加权损失，其跟踪误差分布的均值与方差，从而确保跨类的重平衡学习。作为一项主要贡献，我们进行了一系列分析表明 ReMSE 在理论上具有坚实基础。大量实验表明，所提方法有效缓解了语义预测中的不平衡，并优于许多最先进的 ZSL 方法。我们的代码见 https://github.com/FouriYe/ReZSL-TIP23。
引用
@article{arxiv.2210.07031,
title = {Rebalanced Zero-shot Learning},
author = {Zihan Ye and Guanyu Yang and Xiaobo Jin and Youfa Liu and Kaizhu Huang},
journal= {arXiv preprint arXiv:2210.07031},
year = {2023}
}
备注
Accepted to IEEE Transactions on Image Processing (TIP) 2023