DeCorStory:基于Gram-Schmidt提示嵌入去相关以实现一致性叙事
计算机视觉与模式识别
2026-02-03 v1
摘要
在文本到图像叙事中,维持帧之间视觉与语义一致性是关键挑战。现有训练-free方法(如One-Prompt-One-Story)将所有提示拼接为单个序列,常导致强烈的嵌入相关性,引发颜色泄漏、背景混合和身份漂移。我们提出DeCorStory,一种训练-free的推理时框架,显式减少帧间语义干扰。DeCorStory应用Gram-Schmidt提示嵌入去相关对帧级语义进行正交化,随后采用奇点值重加权以强化提示特定信息,并引入身份保持性跨注意力以稳定角色身份。该方法无需模型修改或微调,可无缝集成到现有扩散管道中。实验表明,该方法在提示-图像对齐、身份一致性和视觉多样性方面均实现一致性提升,达到训练-free基线的最佳性能。代码已公开:https://github.com/YuZhenyuLindy/DeCorStory
引用
@article{arxiv.2602.01306,
title = {DeCorStory: Gram-Schmidt Prompt Embedding Decorrelation for Consistent Storytelling},
author = {Ayushman Sarkar and Zhenyu Yu and Mohd Yamani Idna Idris},
journal= {arXiv preprint arXiv:2602.01306},
year = {2026}
}