注意力感知的多笔触风格迁移
计算机视觉与模式识别
2019-01-17 v1
摘要
神经风格迁移已引起学术界与工业界的相当关注。尽管视觉效果与效率已显著提升，现有方法仍无法协调内容图像与风格化图像之间视觉注意的空间分布，也无法通过不同笔触渲染不同层次的细节。本文通过开发一种注意力感知的多笔触风格迁移模型来解决这些局限。我们首先提出将自注意力机制组装进一个与风格无关的重建自编码器框架，由此可导出内容图像的注意力图。通过对内容特征与风格特征进行多尺度风格交换，我们生成反映不同笔触模式的多个特征图。进一步提出一种灵活融合策略，以纳入注意力图中的显著特征，从而将多种笔触模式和谐地整合进输出图像的不同空间区域。我们展示了方法的有效性，并针对最先进方法生成了具有多笔触模式的可比风格化图像。
引用
@article{arxiv.1901.05127,
title = {Attention-aware Multi-stroke Style Transfer},
author = {Yuan Yao and Jianqiang Ren and Xuansong Xie and Weidong Liu and Yong-Jin Liu and Jun Wang},
journal= {arXiv preprint arXiv:1901.05127},
year = {2019}
}