颜色与纹理双管道轻量级风格迁移
计算机视觉与模式识别
2024-01-02 v1
摘要
风格迁移方法通常为参考风格生成颜色与纹理耦合的单一风格化输出,且颜色迁移方案在处理具有重复纹理的参考图像时可能引入失真或伪影。为解决该问题,我们提出了一种颜色与纹理双管道轻量级风格迁移 CTDP 方法,其采用双管道方法同时输出颜色与纹理迁移的结果。此外,我们设计了一种掩码全变分损失,以在不影响内容语义部分的前提下抑制颜色迁移结果中的伪影与微小纹理表征。更重要的是,我们首次能够以为可控强度向颜色迁移结果添加纹理结构。最后,我们对该框架的纹理生成机制进行了特征可视化分析,发现平滑输入图像几乎可以完全消除该纹理结构。在对比实验中,CTDP 生成的颜色与纹理迁移结果均达到了最先进的性能。此外,颜色迁移分支模型大小的权重低至 20k,比其他最先进模型小 100–1500 倍。
引用
@article{arxiv.2310.01321,
title = {Color and Texture Dual Pipeline Lightweight Style Transfer},
author = {ShiQi Jiang},
journal= {arXiv preprint arXiv:2310.01321},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2306.16846