HairCLIPv2:通过代理特征混合统一头发编辑
计算机视觉与模式识别
2023-10-17 v1 图形学
摘要
头发编辑近年来取得巨大进展。早期的头发编辑方法使用精心绘制的草图或掩码来指定编辑条件。尽管它们能实现非常细粒度的局部控制,但此类交互模式对于可通过语言描述或参考图像轻松指定的编辑条件而言效率低下。得益于跨模态模型(如 CLIP)的近期突破,HairCLIP 是首个支持基于文本描述或参考图像进行头发编辑的工作。然而,此类文本驱动与参考驱动的交互模式使 HairCLIP 无法支持由草图或掩码指定的细粒度控制。本文提出 HairCLIPv2,旨在以统一框架支持上述所有交互。同时,它在无关属性(如身份、背景)保留与未见文本描述支持方面优于 HairCLIP。其核心思想是将所有头发编辑任务转化为头发迁移任务,并将编辑条件相应转化为不同代理。编辑效果通过在发型或发色特征空间内混合相应代理特征叠加到输入图像上。除前所未有的用户交互模式支持外,定量与定性实验证明了 HairCLIPv2 在编辑效果、无关属性保留与视觉自然度方面的优越性。我们的代码见 \url{https://github.com/wty-ustc/HairCLIPv2}。
引用
@article{arxiv.2310.10651,
title = {HairCLIPv2: Unifying Hair Editing via Proxy Feature Blending},
author = {Tianyi Wei and Dongdong Chen and Wenbo Zhou and Jing Liao and Weiming Zhang and Gang Hua and Nenghai Yu},
journal= {arXiv preprint arXiv:2310.10651},
year = {2023}
}
备注
ICCV 2023, code is available at https://github.com/wty-ustc/HairCLIPv2