零样本真实场景下的头部置换

随着媒体和社交网络对个性化图像的日益需求，集成整个头部图像与身体图像的高级头部置换技术需求日益增长。然而，传统的头部置换方法高度依赖面部中心裁剪数据，主要采用正面视角，限制了其在实际场景中的有效性。此外，针对这些类型数据集设计的掩码方法在处理复杂情况时（如原始数据包含超出掩码区域的长发等特征）难以实现无缝融合。为克服这些限制并提升在多样化复杂场景中的适应性，我们提出了一种新颖的头部置换方法 HID，能够处理包括完整头部和上身在内的图像，支持从正面到侧面的各种视角，并自动生成情境感知掩码。为实现自动掩码生成，我们引入 IOMask，实现头部与身体的无缝融合，有效解决集成挑战。我们进一步引入发丝注入模块以更精确地捕捉发丝细节。我们的实验表明，所提方法在头部置换方面实现了最先进的性能，能够在广泛的挑战性条件下提供视觉一致且逼真的效果。