RealDiffusion：用于多角色故事书生成的物理信息注意力机制
计算机视觉与模式识别
2026-05-13 v1
摘要
尽管现代扩散模型擅长生成多样化的单张图像，但将其扩展到序列生成揭示了一个根本性的挑战：平衡叙事动态性与多角色一致性。现有方法往往在这种权衡中失败，导致角色失去身份或故事停滞不前的伪影。为了解决这一关键矛盾，我们引入了 RealDiffusion，一个旨在调和鲁棒一致性与叙事动态性的统一框架。热扩散作为一个耗散先验，沿序列平均相邻特征并移除主体区域内的噪声。这抑制了属性漂移并稳定了跨帧的身份。然后，一个区域感知的随机过程引入小的扰动，探索附近的模式并防止坍缩，从而使故事保持姿态变化和场景演化。因此，我们引入了一种轻量级、无需训练的物理感知注意力机制，在推理过程中将可控的物理先验注入自注意力层。通过将特征演化建模为一个可配置的物理系统，我们的方法在不抑制有意的、提示驱动的变化的情况下，规范了时空关系。大量实验表明，RealDiffusion 在保持叙事动态性的同时，在角色一致性方面取得了显著提升，优于最先进的方法。代码可在 https://github.com/ShmilyQi-CN/RealDiffusion 获取。
引用
@article{arxiv.2605.11927,
title = {RealDiffusion: Physics-informed Attention for Multi-character Storybook Generation},
author = {Qi Zhao and Jun Chen and Ivor Tsang and Guang Dai},
journal= {arXiv preprint arXiv:2605.11927},
year = {2026}
}
备注
CVPR2026