基于概念与属性的动作分类
计算机视觉与模式识别
2018-03-08 v2 机器学习
摘要
自然图像中的类别往往遵循长尾分布。当稀有类别的训练样本不足时，这一问题尤为突出。这种效应在复合类别中更为显著，这些类别涉及多个概念的结合，例如动作识别数据集中出现的类别。本文提出通过学习如何利用易于获取的通用视觉概念来解决这一问题。我们检测图像中显著概念的存在，并利用它们来推断目标标签，而非直接使用视觉特征，从而结合了视觉和自然语言处理的工具。我们在最近引入的HICO数据集上验证了我们的方法，达到了31.54%的mAP；在Stanford-40 Actions数据集上，所提出的方法优于直接使用视觉特征的方法，获得了83.12%的准确率。此外，该方法为每个类别提供了一个语义上有意义的关键词列表以及相关的图像区域，将其与其构成概念联系起来。
引用
@article{arxiv.1605.07824,
title = {Action Classification via Concepts and Attributes},
author = {Amir Rosenfeld and Shimon Ullman},
journal= {arXiv preprint arXiv:1605.07824},
year = {2018}
}