引导叙事:控制故事生成中连贯性与风格的微调方法
计算机视觉与模式识别
2026-03-19 v1 人工智能
摘要
故事可视化需要生成与叙事演变相符且保持角色身份与视觉风格一致的序列图像。现有方法常在角色不一致和身份漂移方面受限,尤其是复杂互动或延长叙事弧线。为此,我们提出稳健一致的两阶段框架。首先引入组共享注意力(GSA),通过注意力层内损失跨样本信息流,构建内在一致性,使模型无需依赖外部编码器即可结构化编码跨帧身份对应。其次利用直接偏好优化(DPO)将生成输出与人类审美与叙事标准对齐。不同于依赖冲突辅助损失的常规方法,本方法通过学习整体偏好数据同时提升视觉保真度与身份保持。广泛评估表明,在ViStoryBench基准上,我们的方法达成新型SOTA,角色身份(CIDS)提升10.0,风格一致性(CSD)提升18.7,同时保持高保真生成。
引用
@article{arxiv.2603.17295,
title = {Directing the Narrative: A Finetuning Method for Controlling Coherence and Style in Story Generation},
author = {Jianzhang Zhang and Yijing Tian and Jiwang Qu and Chuang Liu},
journal= {arXiv preprint arXiv:2603.17295},
year = {2026}
}