演化叙事：基于扩散模型的新角色定制基准与方法
计算机视觉与模式识别
2024-05-21 v1
摘要
基于扩散模型的叙事可视化模型显示出在叙事任务中生成内容一致图像的前景。然而，如何有效地将新角色集成到现有叙事中，同时保持角色一致性仍是一个开放问题，特别是在数据有限的情况下。两个主要限制阻碍了进展：（1）由于潜在的角色泄漏和不一致的文本标记，缺乏合适的基准；（2）区分新旧角色的挑战，导致结果模糊。为解决这些挑战，我们引入了NewEpisode基准，包含精炼后的数据集，用于评估生成模型在仅使用单个示例故事的情况下生成带有新角色故事的适应性。精炼后的数据集涉及精炼后的文本提示并消除角色泄漏。此外，为了缓解生成结果的角色混淆，我们提出了EpicEvo方法，该方法使用单个包含新角色的故事来定制基于扩散的视觉故事生成模型，无缝地将其整合到既定角色动态中。EpicEvo引入了一种新的对抗性角色对齐模块，在扩散过程中逐步对齐包含新角色的 exemplar 图像，同时应用知识蒸馏以防止忘记角色和背景细节。我们的定量评估表明，EpicEvo在NewEpisode基准上优于现有基线，定性研究确认了其在扩散模型中视觉故事生成方面的优越性。总之，EpicEvo提供了一种仅需一个示例故事即可整合新角色的有效方法，为应用 unlocking 如系列动画等可能性。
引用
@article{arxiv.2405.11852,
title = {Evolving Storytelling: Benchmarks and Methods for New Character Customization with Diffusion Models},
author = {Xiyu Wang and Yufei Wang and Satoshi Tsutsui and Weisi Lin and Bihan Wen and Alex C. Kot},
journal= {arXiv preprint arXiv:2405.11852},
year = {2024}
}