CogCartoon：迈向实用的故事可视化
计算机视觉与模式识别
2023-12-19 v1
摘要
当前最先进的故事可视化方法对训练数据和存储有显著需求，且在故事呈现上灵活性有限，因此使其难以应用于实际场景。我们引入了 CogCartoon，一种基于预训练扩散模型的实用故事可视化方法。为减轻对数据和存储的依赖，我们提出了一种创新的字符插件生成策略，能够仅使用少量训练样本将特定角色表示为一个紧凑的 316 KB 插件。为实现更高的灵活性，我们采用插件引导和布局引导的推理策略，使用户能够方便地将新角色和自定义布局无缝融入生成的图像结果中。我们进行了全面的定性和定量研究，为 CogCartoon 相较于现有方法的优越性提供了令人信服的证据。此外，CogCartoon 在处理长故事可视化和写实风格故事可视化等具有挑战性的任务中展现了其能力。
引用
@article{arxiv.2312.10718,
title = {CogCartoon: Towards Practical Story Visualization},
author = {Zhongyang Zhu and Jie Tang},
journal= {arXiv preprint arXiv:2312.10718},
year = {2023}
}
备注
17 pages, 9 figures