从空间与时间中的共现学习视觉分组
机器学习
2015-11-24 v1 计算机视觉与模式识别
摘要
我们提出一种自监督框架，基于视觉实体在空间和时间上的共现率来学习对视觉实体进行分组。为建模实体间的统计依赖关系，我们设立了一个简单的二分类问题，其目标是预测两个视觉基元是否出现在相同的空间或时间上下文中。我们将该框架应用于三个领域：从图像中的空间邻接学习图像块亲和力，从视频中的时间邻接学习帧亲和力，以及从图像集合中的地理空间邻近学习照片亲和力。我们证明在每种情况下，学习到的亲和力都揭示了有意义的语义分组。从图像块亲和力中，我们生成与 state-of-the-art 监督方法相竞争的对象提议。从帧亲和力中，我们生成与 DVD 章节结构高度相关的电影场景分割。最后，从地理空间亲和力中，我们学习到与语义地点类别高度相关的分组。
引用
@article{arxiv.1511.06811,
title = {Learning visual groups from co-occurrences in space and time},
author = {Phillip Isola and Daniel Zoran and Dilip Krishnan and Edward H. Adelson},
journal= {arXiv preprint arXiv:1511.06811},
year = {2015}
}