SCAM！利用语义交叉注意力调制在图像间迁移人物

近期大量工作致力于语义条件图像生成。此类方法大多聚焦于姿态迁移这一较窄任务，而忽略了更具挑战性的主体迁移任务——其不仅要求迁移姿态，还需迁移外观与背景。在本工作中，我们提出SCAM（Semantic Cross Attention Modulation，语义交叉注意力调制），该系统在图像的每个语义区域（包括前景与背景）中编码丰富且多样的信息，从而实现注重精细细节的精确生成。这由语义注意力Transformer编码器（提取每个语义区域的多个潜在向量）及相应的生成器（利用语义交叉注意力调制来使用这些多重潜在向量）实现。该系统仅以重建设置进行训练，而主体迁移在测试时执行。我们的分析表明，所提架构能成功编码每个语义区域中外观的多样性。在iDesigner与CelebAMask-HD数据集上的大量实验表明，SCAM优于SEAN与SPADE；此外，其在主体迁移上确立了新的最先进水平（state of the art）。