CoSMo：用于漫画书页面流分段的多模态 Transformer
计算机视觉与模式识别
2025-07-15 v1
摘要
本文介绍CoSMo，这是一种新的多模态 Transformer 用于漫画书的页面流分段（PSS），这是一种自动化内容理解的关键任务，因为它是许多下游任务（如角色分析、故事索引或元数据丰富化）的必要第一阶段。我们正式化了漫画书的 PSS任务并策划了一个新的 20,800 页标注数据集。CoSMo 采用视觉模式和多模态两种变体， consistently 超过传统基线方法和显著大的通用视觉语言模型，在 F1-Macro、Panoptic Quality 和流水线级别指标上均表现出色。我们的发现表明，视觉特征在漫画 PSS 宏观结构方面占主导地位，但在解决具有挑战性的模糊性方面，多模态方法仍有优势。CoSMo 建立了新的状态-of-the-art，为可扩展的漫画书分析铺平了道路。
关键词
引用
@article{arxiv.2507.10053,
title = {CoSMo: A Multimodal Transformer for Page Stream Segmentation in Comic Books},
author = {Marc Serra Ortega and Emanuele Vivoli and Artemis Llabrés and Dimosthenis Karatzas},
journal= {arXiv preprint arXiv:2507.10053},
year = {2025}
}