面向漫画角色重识别的身份感知半监督学习

角色重识别旨在跨漫画不同分镜一致地识别角色，由于标注数据有限以及角色外观的复杂变化而面临重大挑战。为应对此问题，我们引入了一个鲁棒的半监督框架，该框架通过对比学习角色的人脸与身体配对，将度量学习与一种新颖的“身份感知”自监督方法相结合。我们的方法在统一网络架构中处理面部与身体特征，促进提取身份对齐的角色嵌入，在保留人脸与身体特征有效性的同时捕捉个体身份。与仅基于人脸或身体独立进行重识别相比，这种集成角色表示增强了特征提取并改善了角色重识别，提供了一种参数高效的解决方案。通过使用系列内与系列间评估指标广泛验证我们的方法，我们证明了其在一致重识别漫画角色上的有效性。与现有方法相比，我们的方法不仅解决了角色重识别的挑战，而且可作为下游任务的基础，因为它能在不受人脸与身体可用性限制的情况下生成角色嵌入，从而丰富对漫画的理解。在我们的实验中，我们利用两个新整理的数据集：“漫画角色实例数据集”，包含超过一百万个角色实例；以及“漫画序列身份数据集”，包含我们所收集的超过3000组四连漫画分镜中的身份标注。