中文

DeCorStory:基于Gram-Schmidt提示嵌入去相关以实现一致性叙事

计算机视觉与模式识别 2026-02-03 v1

摘要

在文本到图像叙事中,维持帧之间视觉与语义一致性是关键挑战。现有训练-free方法(如One-Prompt-One-Story)将所有提示拼接为单个序列,常导致强烈的嵌入相关性,引发颜色泄漏、背景混合和身份漂移。我们提出DeCorStory,一种训练-free的推理时框架,显式减少帧间语义干扰。DeCorStory应用Gram-Schmidt提示嵌入去相关对帧级语义进行正交化,随后采用奇点值重加权以强化提示特定信息,并引入身份保持性跨注意力以稳定角色身份。该方法无需模型修改或微调,可无缝集成到现有扩散管道中。实验表明,该方法在提示-图像对齐、身份一致性和视觉多样性方面均实现一致性提升,达到训练-free基线的最佳性能。代码已公开:https://github.com/YuZhenyuLindy/DeCorStory

关键词

引用

@article{arxiv.2602.01306,
  title  = {DeCorStory: Gram-Schmidt Prompt Embedding Decorrelation for Consistent Storytelling},
  author = {Ayushman Sarkar and Zhenyu Yu and Mohd Yamani Idna Idris},
  journal= {arXiv preprint arXiv:2602.01306},
  year   = {2026}
}