基于布局可控扩散的漫画生成
计算机视觉与模式识别
2024-12-30 v1
摘要
通过文本生成漫画是广受关注的研究方向。然而，仅基于纯文本生成多面板漫画(日本漫画)的研究极少。日本漫画包含单页上的多个面板，具有叙事连贯性、合理且多样的页面布局、人物一致性以及面板绘图与面板脚本之间的语义对应性等特征。因此，生成漫画本身就是一个重大的挑战。本文提出了漫画生成任务，并构建了 Manga109Story 数据集用于研究仅从纯文本生成漫画。此外，我们提出了 MangaDiffusion 以促进漫画生成过程中面板间和面板内信息的交互。结果表明，我们的方法尤其确保了面板数量、合理且多样的页面布局。基于我们的方法，将大量文本故事转换为更具吸引力的漫画阅读有巨大的应用前景。
引用
@article{arxiv.2412.19303,
title = {Manga Generation via Layout-controllable Diffusion},
author = {Siyu Chen and Dengjie Li and Zenghao Bao and Yao Zhou and Lingfeng Tan and Yujie Zhong and Zheng Zhao},
journal= {arXiv preprint arXiv:2412.19303},
year = {2024}
}