ReFACT：通过编辑文本编码器更新文本到图像模型

我们的世界正经历前所未有的技术、全球和社会政治变革，这对文本到图像生成模型构成了重大挑战。这些模型在其参数中编码了事实关联，这些关联可能很快就会过时，从而降低其对最终用户的实用性。为此，我们引入了 ReFACT，这是一种在文本到图像模型中编辑事实关联的新方法，无需依赖最终用户的显式输入或昂贵的重新训练。ReFACT 更新文本编码器中特定层的权重，仅修改模型参数的一小部分，而模型的其余部分保持不变。我们在现有基准测试以及新整理的数据集上对 ReFACT 进行了实证评估。与其他方法相比，ReFACT 在对相关概念的泛化和对无关概念的保留方面均取得了更优的性能。此外，ReFACT 保持了图像生成质量，使其成为更新和纠正文本到图像模型中事实信息的实用工具。