面向单图像深度预测更高模型泛化性的元优化方法
计算机视觉与模式识别
2024-01-31 v2
摘要
对于室内单图像深度预测，模型对未知数据集的泛化性（即关注实际场景中的鲁棒性）研究较少。我们利用基于梯度的元学习以提升零样本跨数据集推理的泛化性。与元学习中最受关注的图像分类不同，深度是像素级连续距离值，且从各图像到深度的映射在不同环境中差异很大。因此不存在显式的任务边界。我们转而提出细粒度任务，在元优化中将每个 RGB-D 对视为一个任务。我们首先表明，在有限数据上的元学习诱导出好得多的先验（最大提升 +29.4%）。将元学习得到的权重作为后续监督学习的初始化，不涉及额外数据或信息，它一致地优于未采用该方法的基线。与大多数仅在单一数据集上训练/测试的室内深度方法相比，我们提出了零样本跨数据集协议，紧密评估鲁棒性，并通过我们的元初始化展示了一致更高的泛化性与精度。这一处于深度与元学习交叉点的工作有望推动两个研究流都更接近于实际应用。
引用
@article{arxiv.2305.07269,
title = {Meta-Optimization for Higher Model Generalizability in Single-Image Depth Prediction},
author = {Cho-Ying Wu and Yiqi Zhong and Junying Wang and Ulrich Neumann},
journal= {arXiv preprint arXiv:2305.07269},
year = {2024}
}
备注
long version; short version accepted to CVPR 2023 Workshop on Adversarial Machine Learning on Computer Vision and CVPR 2023 Workshop on Computer Vision for Mixed Reality