基于缩略图实例归一化的超分辨率神经风格迁移
计算机视觉与模式识别
2022-03-17 v3 图像与视频处理
摘要
我们提出了一种极简的超分辨率风格迁移框架，称为 URST，首次能够灵活地处理任意高分辨率图像（例如 10000x10000 像素）的风格迁移。大多数现有的最先进方法在处理超高分辨率图像时，由于巨大的内存开销和较小的笔触尺寸而表现不佳。URST 通过（1）将图像划分为小块，以及（2）使用一种新颖的缩略图实例归一化（TIN）进行分块风格迁移，完全避免了超高分辨率图像引起的内存问题。具体而言，TIN 可提取缩略图特征的归一化统计量并将其应用于小块，从而确保不同块之间的风格一致性。总体而言，与先前方法相比，URST 框架具有三个优点。（1）我们将输入图像划分为小块并采用 TIN，成功实现了任意高分辨率的图像风格迁移。（2）实验表明，得益于所提出的笔触感知损失在增大笔触尺寸方面的有效性，我们的 URST 在超高分辨率图像上超越了现有的 SOTA 方法。（3）我们的 URST 可轻松插入大多数现有风格迁移方法中，并直接提升其性能，甚至无需训练。代码可在 https://git.io/URST 获取。
引用
@article{arxiv.2103.11784,
title = {Towards Ultra-Resolution Neural Style Transfer via Thumbnail Instance Normalization},
author = {Zhe Chen and Wenhai Wang and Enze Xie and Tong Lu and Ping Luo},
journal= {arXiv preprint arXiv:2103.11784},
year = {2022}
}
备注
Accepted to AAAI 2022