MaRU：连接视觉与语言的图像检索与理解系统
信息检索
2023-11-07 v1 人工智能
摘要
漫画（Manga）作为一种广受赞誉的日本漫画艺术形式，以其多样的叙事和独特的艺术风格而闻名。然而，漫画固有的视觉化与复杂结构（由包含多个面板的图像组成）给内容检索带来了重大挑战。为此，我们提出 MaRU（Manga Retrieval and Understanding，漫画检索与理解），一个多阶段系统，连接视觉与语言以促进漫画帧内对话与场景的高效搜索。MaRU 的架构集成了用于识别文本与画框边界框的目标检测模型、用于文本识别的视觉编码器-解码器模型、用于文本嵌入的文本编码器，以及将文本与视觉信息融合至统一嵌入空间以进行场景检索的视觉-文本编码器。严格的评估表明，MaRU 在端到端对话检索方面表现出色，并在场景检索上展现出有前景的结果。
引用
@article{arxiv.2311.02083,
title = {MaRU: A Manga Retrieval and Understanding System Connecting Vision and Language},
author = {Conghao Tom Shen and Violet Yao and Yixin Liu},
journal= {arXiv preprint arXiv:2311.02083},
year = {2023}
}