漫画线稿图像的区域级对应关系预测
计算机视觉与模式识别
2025-11-19 v3
摘要
理解漫画线稿图像之间的区域级对应关系是高级漫画处理的基础，支持线稿上色和插帧生成等下游任务。不同于自然图像拥有丰富视觉线索，漫画线稿仅由稀疏的黑白笔画构成，因而难以确定跨图像的区域对应。本文提出了一项新任务：在无需任何标注的情况下预测原始漫画线稿图像之间的区域级对应关系。为解决此问题，我们提出了基于 Transformer 的框架，该框架在大规模自动生成的区域对应关系上进行训练。模型学习抑制噪声匹配并强化一致的结构关系，从而实现跨图像的稳健局部特征对齐。在推理期间，方法对每幅线稿进行分割，通过基于边缘的聚类和区域匹配建立连贯的区域级对应关系。我们构建了手动标注的基准数据集用于评估，实验在多个数据集上表明，本方法在高精度的局部 patch 级准确率和强大的区域级对应性能方面均表现出色，实现了 78.4%~84.4% 的区域级准确率。这些结果凸显了本方法在现实漫画和动画应用中的潜力。
引用
@article{arxiv.2509.09501,
title = {Region-Wise Correspondence Prediction between Manga Line Art Images},
author = {Yingxuan Li and Jiafeng Mao and Qianru Qiu and Yusuke Matsui},
journal= {arXiv preprint arXiv:2509.09501},
year = {2025}
}