SIDAR:用于对齐与复原的合成图像数据集
计算机视觉与模式识别
2024-03-05 v1 图形学
机器学习
摘要
图像对齐与图像复原是经典的计算机视觉任务。然而,仍缺乏提供足够数据以训练和评估端到端深度学习模型的数据集。获取图像对齐的地面真实数据需要复杂的运动恢复结构方法或光流系统,这些方法通常不能提供足够的数据方差,即通常提供大量图像对应点,而在底层图像序列中仅引入少量场景变化。替代方法利用对现有图像数据的随机透视畸变。然而,这仅提供平凡畸变,缺乏真实世界场景的复杂性与方差。相反,我们提出的数据增强通过使用 3D 渲染克服了数据稀缺问题:将图像作为纹理贴到平面上,随后向场景添加变化的光照条件、阴影与遮挡。该场景从多个视点渲染,生成与真实世界场景更一致的透视畸变,其单应矩阵与相机投影而非随机单应矩阵 closely 相似。对于每个场景,我们提供一组畸变图像序列及相应的遮挡掩码、单应矩阵与地面真实标签。所得数据集可作为涉及图像对齐与伪影去除的众多任务(如深度单应估计、稠密图像匹配、2D 光束法平差、修复、阴影去除、去噪、内容检索与背景减除)的训练与评估集。我们的数据生成流水线可定制,并可应用于任何现有数据集,作为数据增强以进一步改进任何现有方法的特征学习。
引用
@article{arxiv.2305.12036,
title = {SIDAR: Synthetic Image Dataset for Alignment & Restoration},
author = {Monika Kwiatkowski and Simon Matern and Olaf Hellwich},
journal= {arXiv preprint arXiv:2305.12036},
year = {2024}
}