一种面向文化遗址中单阶段艺术品识别的无监督域适应方案
计算机视觉与模式识别
2020-12-23 v3
摘要
利用从用户视角（第一人称视觉）获取的图像来识别文化遗址中的艺术品，可为游客和遗址管理者构建有趣的应用。然而，当前在全监督设置下工作的目标检测算法需要用大量标注数据训练，其收集为实现良好性能需耗费大量时间与高昂成本。利用从文化遗址三维模型生成的合成数据训练算法可降低这些成本。另一方面，当这些模型用真实图像测试时，由于真实与合成图像之间的差异，观察到性能显著下降。在本研究中，我们考虑文化遗址中目标检测的无监督域适应（Unsupervised Domain Adaptation）问题。为解决该问题，我们创建了一个新数据集，包含16件不同艺术品的合成与真实图像。我们进而研究了基于单阶段与两阶段目标检测器、图像到图像翻译和特征对齐的不同域适应技术。基于单阶段检测器在考虑的设置下对域偏移更鲁棒的观察，我们提出了一种构建于RetinaNet和特征对齐之上的新方法，称之为DA-RetinaNet。所提方法在提出的数据集和Cityscapes上取得了优于对比方法的结果。为支持该领域研究，我们在以下链接发布数据集 https://iplab.dmi.unict.it/EGO-CH-OBJ-UDA/ 以及所提架构的代码 https://github.com/fpv-iplab/DA-RetinaNet。
引用
@article{arxiv.2008.01882,
title = {An Unsupervised Domain Adaptation Scheme for Single-Stage Artwork Recognition in Cultural Sites},
author = {Giovanni Pasqualino and Antonino Furnari and Giovanni Signorello and Giovanni Maria Farinella},
journal= {arXiv preprint arXiv:2008.01882},
year = {2020}
}