JigsawGAN：基于生成对抗网络的拼图求解辅助学习
计算机视觉与模式识别
2022-07-18 v3
摘要
本文提出一种基于生成对抗网络（GAN）的拼图求解方案。该问题假设一幅图像被划分为相等的正方形块，并要求根据这些块提供的信息恢复图像。传统的拼图求解器通常依据块边界确定关系，忽略了重要的语义信息。本文中，我们提出 JigsawGAN，一种基于 GAN 的辅助学习方法，用于求解具有非配对图像（无初始图像先验知识）的拼图。我们设计了一个多任务流水线，包括：（1）用于分类拼图排列的分类分支，以及（2）用于将特征恢复为正确顺序图像的 GAN 分支。分类分支由根据打乱块生成的伪标签约束。GAN 分支聚焦于图像语义信息，其中生成器产生自然图像以欺骗判别器，而判别器区分给定图像属于合成域还是真实目标域。这两个分支由基于流的形变模块连接，该模块根据分类结果对特征进行形变以校正顺序。所提方法通过同时利用语义信息与边界信息，能更高效地求解拼图。与若干代表性拼图求解器的定性与定量比较展示了我们方法的优越性。
引用
@article{arxiv.2101.07555,
title = {JigsawGAN: Auxiliary Learning for Solving Jigsaw Puzzles with Generative Adversarial Networks},
author = {Ru Li and Shuaicheng Liu and Guangfu Wang and Guanghui Liu and Bing Zeng},
journal= {arXiv preprint arXiv:2101.07555},
year = {2022}
}
备注
Accepted by IEEE Transactions on Image Processing (TIP)