具有风格化多页布局与情感驱动文字气泡生成的自动漫画生成
计算机视觉与模式识别
2021-01-28 v1
摘要
在本文中，我们提出了一种无需任何人工干预、从视频自动生成漫画书的完整系统。给定输入视频及其字幕，我们的方法首先通过分析字幕提取信息性关键帧，并将关键帧风格化为漫画风格图像。然后，我们提出一种新颖的自动多页布局框架，其可基于图像的丰富语义（如重要性与图像间关系）将图像分配至多个页面并合成视觉上有趣的布局。最后，与先前工作使用同类型气泡不同，我们提出一种情感感知气泡生成方法，通过分析字幕与音频的情感来创建不同类型的文字气泡。我们的方法能够根据不同情感改变气泡形状与气泡内文字大小，带来更丰富的阅读体验。一旦气泡生成，它们通过说话人检测被放置于相应说话者附近。我们的结果表明，我们的方法在无需任何用户输入的情况下，可生成具有视觉丰富布局与气泡的高质量漫画页面。我们的用户研究也表明，用户偏好我们生成的结果甚于最先进的漫画生成系统所得结果。
引用
@article{arxiv.2101.11111,
title = {Automatic Comic Generation with Stylistic Multi-page Layouts and Emotion-driven Text Balloon Generation},
author = {Xin Yang and Zongliang Ma and Letian Yu and Ying Cao and Baocai Yin and Xiaopeng Wei and Qiang Zhang and Rynson W. H. Lau},
journal= {arXiv preprint arXiv:2101.11111},
year = {2021}
}