当 ControlNet 遇见非显式掩膜：ControlNet 轮廓跟随能力的案例研究

ControlNet 擅长生成与用户提供的掩膜中精确轮廓紧密匹配的内容。然而，当这些掩膜包含噪声时（这在非专业用户中经常发生），输出将包含不需要的伪影。本文首先通过深入分析，强调了控制这些具有不同退化程度的非显式掩膜（inexplicit masks）影响的关键作用。随后，为了增强对非显式掩膜的可控性，我们设计了一种先进的形状感知 ControlNet（Shape-aware ControlNet），其包含一个退化估计器和一个形状先验调制块。退化估计器评估所提供掩膜的退化因子。然后，该因子被用于调制块中，以自适应地调节模型的轮廓跟随能力，从而帮助其忽略非显式掩膜中的噪声部分。大量实验证明，该方法能有效促使 ControlNet 鲁棒地解释不准确的 spatial conditions，而非盲目遵循给定的轮廓，适用于多种条件类型。我们展示了修改形状先验和可组合形状可控生成等应用场景。代码已在 github 上提供。