ParsNets：用于零样本学习的简约正交低秩线性网络
计算机视觉与模式识别
2023-12-22 v2
摘要
本文为零样本学习（ZSL）提出了一种简约而高效的设计，称为 ParsNets。我们致力于学习一种由适合设备端部署的线性网络组成的复合模型，每个网络具有正交性和低秩性，以实现与现有深度模型相当甚至更优的性能。具体而言，我们首先将 ZSL 的核心模块，即视觉-语义映射函数，重构为若干对应于语义空间不同组成部分的基础线性网络，从而将复杂的非线性折叠为简单的局部线性。然后，为促进局部线性的泛化，我们通过对类内样本施加低秩约束、对类间样本施加高秩约束，在学习特征上构建最大间隔几何结构，使得不同类别形成正交子空间，且每个子空间位于一个紧致流形上。为增强模型的适应性并平衡 ZSL 中的过拟合与欠拟合，我们采用一组样本级指示器从这些基础线性网络中选取稀疏子集，为每个样本构建复合语义预测器。值得注意的是，最大间隔几何可保证特征的多样性，同时局部线性保证了效率。因此，我们的 ParsNets 能更好地泛化到未见类别，并可灵活部署于资源受限的设备上。我们通过理论解释和大量实验验证了所提方法的有效性。
引用
@article{arxiv.2312.09709,
title = {ParsNets: A Parsimonious Orthogonal and Low-Rank Linear Networks for Zero-Shot Learning},
author = {Jingcai Guo and Qihua Zhou and Ruibing Li and Xiaocheng Lu and Ziming Liu and Junyang Chen and Xin Xie and Jie Zhang},
journal= {arXiv preprint arXiv:2312.09709},
year = {2023}
}
备注
10 pages, 3 figures