SketchHairSalon：基于深度草图的海发图像合成

近期深度生成模型支持从草图输入实时生成头发图像。现有方案常需用户提供二值掩码以指定目标头发形状，这不仅增加用户额外劳动，且无法捕捉复杂头发边界。这些方案通常通过方向图编码头发结构，然而其对复杂结构的编码效果不佳。我们观察到彩色头发草图已隐式定义目标头发形状及头发外观，且比方向图更灵活地描绘头发结构。基于这些观察，我们提出 SketchHairSalon，一种从描绘所需头发结构与外观的徒手草图直接生成真实头发图像的两阶段框架。第一阶段，我们训练网络从输入头发草图及一组可选的非头发笔触预测头发遮罩（matte）。第二阶段，训练另一网络从输入草图与生成的遮罩合成头发图像的结构与外观。为使两阶段网络感知笔触的长程依赖，我们对其应用自注意力模块。为训练这些网络，我们提出一个包含数千对标注头发草图-图像对及相应头发遮罩的新数据集。提出两种高效的草图补全方法，分别自动补全重复的辫子部分与头发笔触，从而减轻用户负担。基于训练网络与两种草图补全策略，我们构建直观界面，使即便新手用户也能通过徒手草图设计展现多种头发结构与外观的视觉悦目头发图像。定性与定量评估显示了所提系统相对现有或替代方案的优势。