CPST：面向多模态叙事的保理解风格迁移

我们研究了多模态视觉叙事中的风格迁移挑战。在漫画和连环画等静态视觉叙事中，存在表现上的不同视觉风格。它们包含跨多个维度的风格特征，如画格布局、大小、形状和颜色。它们同时包含视觉和文本媒体元素。文本和媒体元素的布局在叙事传达方面也具有重要意义。画格之间的顺序转换是读者对叙事世界进行推断的环节。这些特征差异为风格迁移提供了一个有趣的挑战，即每种模态的特征处理之间存在差异。我们在此类多模态领域引入了保理解风格迁移（CPST）的概念。CPST不仅需要传统的风格迁移指标，还需要叙事理解指标。为了推动该领域的进一步研究，我们提供了一个漫画和连环画的标注数据集，以及一组利用独立的视觉、文本和布局参数风格迁移模块的初始算法。为了测试风格迁移是否保留了叙事语义，我们受叙事系统计算认知相关工作的启发，通过视觉故事完形填空测试对该算法进行了评估。理解风格与叙事语义之间的联系，可为从信息宣传册设计到数据叙事等一系列应用提供启示。