递归填充(RIP):递归推理过程中信息丢失多少?
计算机视觉与模式识别
2025-05-27 v2
摘要
生成式人工智能的快速采用正在加速内容的创建和修改。例如,可以几乎即时且低成本地创建给定内容的变体,无论是文本还是图像。这将导致大多数文本和图像直接由 AI 模型创建,或由人类借助 AI 完成。在这种情况下,AI 生成的内容可能用于训练更新的 AI 模型,导致性能下降,或者在 AI 反复处理同一内容时,信息可能在转换中丢失。图像修改的一个例子是图像填充,其中 AI 模型完成图像的缺失部分。将图像填充工具集成到照片编辑程序中推动了其采纳,并鼓励其递归使用以修改图像。可以递归应用图像填充,从一张图像中删除一些部分,应用图像填充进行重建,修订,然后再次对重建的图像启动图像填充过程等。本文对使用最广泛使用的图像模型之一——Stable Diffusion 进行递归图像填充的实证评估。图像填充通过随机选择图像的一个片段进行重建,选择另一个片段,然后重复预定义的迭代次数来实现。实验中使用的图像来自公开可用的艺术数据集,涵盖不同风格和历史时期,还包括作为参考的照片。通过定量指标和定性分析将修改后的图像与原始图像进行比较。结果表明,递归图像填充在某些情况下会使图像仍然类似于原始图像,而在另一些情况下则导致退化。
引用
@article{arxiv.2407.09549,
title = {Recursive InPainting (RIP): how much information is lost under recursive inferences?},
author = {Javier Conde and Miguel González and Gonzalo Martínez and Fernando Moral and Elena Merino-Gómez and Pedro Reviriego},
journal= {arXiv preprint arXiv:2407.09549},
year = {2025}
}
备注
AI & Soc (2025)