ARTeFACT：多样化模拟媒介损伤的分割模型基准测试
计算机视觉与模式识别
2024-12-09 v1
摘要
准确检测和分类绘画、照片、纺织品、马赛克和壁画等模拟媒介中的损伤，对于文化遗产保护至关重要。虽然机器学习模型在已知损伤算子的情况下能够很好地纠正退化，但我们表明，即使经过监督训练，它们也无法稳健地预测损伤的位置；因此，可靠的损伤检测仍然是一个挑战。出于此动机，我们引入了 ARTeFACT，一个用于多样化模拟媒介损伤检测的数据集，包含超过 11,000 条标注，覆盖了 15 种损伤类型，涉及各种主题、媒介和历史来源。此外，我们提供了人类验证的文本提示来描述图像的语义内容，并推导了标注损伤的额外文本描述。我们评估了 CNN、Transformer、基于扩散的分割模型以及基础视觉模型在零样本、监督、无监督和文本引导设置下的表现，揭示了它们在不同媒介类型之间泛化的局限性。我们的数据集可在 获取，作为模拟媒介损伤检测与修复的首个同类基准。
引用
@article{arxiv.2412.04580,
title = {ARTeFACT: Benchmarking Segmentation Models on Diverse Analogue Media Damage},
author = {Daniela Ivanova and Marco Aversa and Paul Henderson and John Williamson},
journal= {arXiv preprint arXiv:2412.04580},
year = {2024}
}
备注
Accepted for publication at WACV 2025