基于纹理特征预设的轻量级纹理迁移
计算机视觉与模式识别
2024-01-02 v3 图像与视频处理
摘要
在纹理迁移任务中,参考纹理图像通常表现出高度重复的纹理特征,且同一风格下不同内容图像的纹理迁移结果也共享极为相似的纹理模式。编码此类高度相似的纹理特征往往需要深层与大量通道,这也成为整个模型参数量、计算负载与推理时间的主要来源。我们提出一种基于纹理特征预设(TFP)的轻量级纹理迁移。TFP充分利用纹理特征的高重复性,为给定风格提供预设的通用纹理特征图。这些预设特征图可直接与任意内容的浅层颜色迁移特征图融合解码,生成纹理迁移结果,从而避免冗余纹理信息被重复编码。我们预设的纹理特征图通过具有一致分布(标准正态分布)的噪声输入图像编码得到。该一致输入分布可完全避免纹理迁移差异问题,且通过随机采样不同噪声输入,可在同一参考风格下获得不同纹理特征与纹理迁移结果。相较于最先进技术,我们的TFP不仅取得视觉更优的结果,还将模型大小缩减3.2至3538倍,并加速1.8至5.6倍。
引用
@article{arxiv.2306.16846,
title = {Lightweight texture transfer based on texture feature preset},
author = {ShiQi Jiang},
journal= {arXiv preprint arXiv:2306.16846},
year = {2024}
}