嵌入感知生成模型的系统评估与基准：特征、模型与任意样本场景
计算机视觉与模式识别
2023-02-17 v3
摘要
嵌入感知生成模型（EAGM）通过在语义与视觉特征空间之间构建生成器，解决了零样本学习（ZSL）中的数据不足问题。得益于预定义的基准与协议，针对 ZSL 提出的 EAGM 数量正迅速增长。我们认为，是时候退一步重新思考嵌入感知生成范式。本文的主要工作有两部分。首先，基准数据集中的嵌入特征在某种程度上被忽视，这潜在地限制了 EAGM 的性能，而多数研究者聚焦于如何改进 EAGM。因此，我们对十种代表性 EAGM 进行了系统评估，并证明即便对嵌入特征进行极为简单的修改，也能显著提升 EAGM 在 ZSL 中的性能。因此是时候更多地关注基准数据集中的当前嵌入特征。其次，基于五个基准数据集（每个含六种任意样本学习场景），我们首次对十种典型 EAGM 的性能进行了系统比较，并给出了零样本学习（ZSL）与少样本学习（FSL）的强基线。同时，我们提供了一个全面的生成模型仓库，即生成式任意样本学习（GASL）仓库，其中包含用于 ZSL 和 FSL 的 EAGM 的模型、特征、参数与场景。基于 GASL，本文中任意结果均可通过仅一行命令行轻松复现。
引用
@article{arxiv.2302.04060,
title = {A Systematic Evaluation and Benchmark for Embedding-Aware Generative Models: Features, Models, and Any-shot Scenarios},
author = {Liangjun Feng and Jiancheng Zhao and Chunhui Zhao},
journal= {arXiv preprint arXiv:2302.04060},
year = {2023}
}