RealCraft：注意力控制作为零样本一致视频编辑的工具
计算机视觉与模式识别
2025-02-03 v4
摘要
尽管大规模文本到图像生成模型在合成高质量图像方面表现出色，但将这些模型直接应用于图像编辑仍然是一个重大挑战。由于额外的时间维度，这一挑战在视频编辑中进一步放大。特别是编辑真实世界视频时，需要在保持帧间稳定结构布局的同时执行局部编辑而不破坏现有内容。本文提出RealCraft，一种基于注意力控制的零样本真实世界视频编辑方法。通过交换交叉注意力以注入新特征并放松编辑对象的时空注意力，我们实现了局部形状编辑并增强了时间一致性。我们的模型直接使用Stable Diffusion，无需额外信息。我们在多种视频上展示了所提出的基于注意力控制的零样本方法，实现了多达64帧视频的形状级、时间一致且无需参数调整的编辑。
引用
@article{arxiv.2312.12635,
title = {RealCraft: Attention Control as A Tool for Zero-Shot Consistent Video Editing},
author = {Shutong Jin and Ruiyu Wang and Florian T. Pokorny},
journal= {arXiv preprint arXiv:2312.12635},
year = {2025}
}