基于注意力的示例图像着色风格化方法
图像与视频处理
2021-05-06 v1 计算机视觉与模式识别
机器学习
多媒体
摘要
基于示例的着色旨在利用彩色参考图像的引导为灰度图像添加合理颜色。现有多数方法将该任务视为风格迁移问题，使用卷积神经网络（CNN）获取两输入内容的高层表示，随后通过计算两种特征表示之间的相似度将参考图像的风格迁移至目标输入的内容。然而，为增强对不相似参考图像的鲁棒性，风格化输出需用第二个着色网络精炼，这显著增加了系统整体复杂度。本工作重构了现有方法，提出一种新颖的端到端着色网络，将特征匹配与着色过程统一。所提架构在不同分辨率上集成注意力模块，以无监督方式学习执行风格迁移任务并解码出真实的颜色预测。此外，提出轴向注意力以简化注意力操作，获得快速且鲁棒的低成本架构。实验验证表明所提方法高效，可生成高质量且视觉吸引人的着色结果，且其复杂度低于当前最优方法。
引用
@article{arxiv.2105.01705,
title = {Attention-based Stylisation for Exemplar Image Colourisation},
author = {Marc Gorriz Blanch and Issa Khalifeh and Alan Smeaton and Noel O'Connor and Marta Mrak},
journal= {arXiv preprint arXiv:2105.01705},
year = {2021}
}