将语义分割中的几何约束转化为半监督学习
计算机视觉与模式识别
2020-01-09 v3 人工智能
机器学习
摘要
我们提出了一种简单而有效的方法来从视频帧中学习分割新的室内场景：在最先进的数据集（即使如 SUNRGB-D 数据集般庞大）上训练的方法，在应用于不属于该数据集的图像时可能因数据集偏差（计算机视觉中的常见现象）而表现糟糕。为使语义分割在实践中更有用，可利用几何约束。我们的主要贡献在于表明这些约束可方便地转化为半监督项，其强制要求同一 3D 位置在不同图像中的投影应预测为同一类别。这很有意义，因为我们可以利用为半监督学习开发的通用现有技术来高效融入这些约束。我们展示了该方法仅使用来自 SUNRGB-D 的标注以及目标序列视频帧间的几何关系，即可高效且准确地学习分割 ScanNet 的目标序列以及我们自建的目标序列。
引用
@article{arxiv.1904.12534,
title = {Casting Geometric Constraints in Semantic Segmentation as Semi-Supervised Learning},
author = {Sinisa Stekovic and Friedrich Fraundorfer and Vincent Lepetit},
journal= {arXiv preprint arXiv:1904.12534},
year = {2020}
}
备注
To be presented at WACV 2020