通过基于感知的风格迁移学习增强古 vase 绘画中的人体姿态估计
计算机视觉与模式识别
2024-02-27 v2
摘要
人体姿态估计（HPE）是理解艺术品收藏（如希腊 vase 绘画）中所描绘人物的视觉叙事与身体动作的核心部分。遗憾的是，现有的 HPE 方法在不同领域间泛化能力较差，导致姿态识别效果不佳。因此，我们提出一种两步方法：（1）借助图像风格迁移，将具有已知人物与姿态标注的自然图像数据集适配为希腊 vase 绘画的风格。我们引入基于感知的风格迁移训练以强制感知一致性。随后，我们用这一新创建的数据集对基础模型进行微调。我们表明，使用风格迁移学习在未标注数据上将 SOTA 性能显著提升了超过 6% 的平均精度均值（mAP）以及平均召回均值（mAR）。（2）为了进一步提升已有的强劲结果，我们创建了一个小型数据集（ClassArch），由公元前 6-5 世纪的古希腊 vase 绘画及人物与姿态标注组成。我们表明，使用风格迁移模型在该数据上微调可进一步改善性能。在一项详尽的消融研究中，我们对风格强度的影响进行了针对性分析，揭示模型学习到的是通用领域风格。此外，我们提供了基于姿态的图像检索以证明方法的有效性。
引用
@article{arxiv.2012.05616,
title = {Enhancing Human Pose Estimation in Ancient Vase Paintings via Perceptually-grounded Style Transfer Learning},
author = {Prathmesh Madhu and Angel Villar-Corrales and Ronak Kosti and Torsten Bendschus and Corinna Reinhardt and Peter Bell and Andreas Maier and Vincent Christlein},
journal= {arXiv preprint arXiv:2012.05616},
year = {2024}
}
备注
Link to the repository containing the code to reproduce the experiments. For further details, please read the README. Link: https://anonymous.4open.science/r/3b1bd8ac-bd3a-4df6-8671-56d4f9bdbd8d/