领结网络：用于联合少样本识别与新视角合成的生成建模

我们提出一项联合少样本识别与新视角合成的新任务：给定仅含类别标注的、任意视角下新物体的单张或少数图像，我们旨在同时学习物体分类器并生成该物体类型在新视点下的图像。现有工作主要通过可共享特征表示的多任务学习来处理两个或多个任务，而我们采取了不同视角。我们关注生成模型与判别模型间的交互与协作，以促使知识沿互补方向跨任务流动。为此，我们提出以反馈环路联合学习三维几何与语义表示的领结网络（bowtie networks）。在具挑战性的细粒度识别数据集上的实验评估表明，我们所合成的图像在多视角下均逼真，并作为数据增强手段显著提升了识别性能，尤其在低数据情形下。代码与预训练模型发布于 https://github.com/zpbao/bowtie_networks。