基于图像与 CLIP 引导的本质迁移
高能天体物理现象
2021-10-26 v1 等离子体物理
摘要
我们区分（i）风格迁移，即操控源图像以匹配目标图像的纹理与颜色；以及（ii）本质迁移，即编辑源图像以纳入来自目标的高层语义属性。关键的是，构成图像本质的语义属性可能因图而异。我们的混合算子以新颖方式将强大的 StyleGAN 生成器与 CLIP 的语义编码器相结合，该方式在两个潜空间上同时具有加性，从而形成一种不依赖人脸识别网络即可保证身份保持与高层特征迁移的机制。我们给出方法的两种变体。第一种基于优化，第二种微调现有的反演编码器以执行本质提取。通过大量实验，我们证明了我们的方法在本质迁移上优于现有的风格迁移、域适应以及基于文本的语义编辑方法。我们的代码见 https://github.com/hila-chefer/TargetCLIP。
引用
@article{arxiv.2110.12426,
title = {Non-resonant Streaming Instability driven by Leptons},
author = {Siddhartha Gupta and Damiano Caprioli and Colby Haggerty},
journal= {arXiv preprint arXiv:2110.12426},
year = {2021}
}
备注
8 pages, 4 figures, Proceedings of Science: 37th International Cosmic Ray Conference (ICRC 2021). Comments welcome!