利用预训练感知度量实现与工具和领域无关的风格迁移效果参数化
机器学习
2021-05-20 v1 计算机视觉与模式识别
人机交互
摘要
当前用于风格迁移的深度学习技术对于设计辅助而言并非最优，因为其“一次性”迁移并不适合探索性设计过程。为弥补这一差距，我们提出参数化转写，将端到端风格迁移效果转写为现有内容编辑工具中特定变换的参数值。通过该方法，用户可以在其熟悉的工具中模仿参考样本的样式，从而能够通过操纵参数轻松进行进一步探索。为此，我们引入了一个框架，该框架利用现有的预训练风格迁移模型计算到参考样本的感知风格距离，并使用黑盒优化来寻找使该距离最小的参数。我们在 Instagram 和 Blender 等多种第三方工具上的实验表明，我们的框架能够有效利用深度学习技术进行计算设计辅助。
引用
@article{arxiv.2105.09207,
title = {Tool- and Domain-Agnostic Parameterization of Style Transfer Effects Leveraging Pretrained Perceptual Metrics},
author = {Hiromu Yakura and Yuki Koyama and Masataka Goto},
journal= {arXiv preprint arXiv:2105.09207},
year = {2021}
}
备注
To appear in Proceedings of the 30th International Joint Conference on Artificial Intelligence (IJCAI 2021); Project page available at https://yumetaro.info/projects/parametric-transcription/