利用语义关键词的恶意事件分类
计算机视觉与模式识别
2017-12-04 v2
摘要
当场景语义不同但视觉相似时，学习事件分类器具有挑战性。然而作为人类，我们通常通过添加背景语义知识来轻松处理此类任务。受此观察启发，我们旨在提供一项关于额外信息（如语义关键词）如何提升此类事件判别力的实证研究。为证明该研究的有效性，我们首先构建了一个新颖的Malicious Crowd Dataset，包含两类事件（良性与恶意）的人群图像，它们在视觉上相似。需注意，本文主要焦点并非在该数据集上提供最先进性能，而是展示使用语义驱动关键词信息的有益方面。通过利用众包平台（如Amazon Mechanical Turk），我们收集与图像关联的语义关键词，随后识别出特定事件独有的关键词子集（例如police、fire等）。我们首先展示，通过使用近期引入的注意力模型，一个朴素的基于CNN的事件分类器实际上学会主要关注与Turks识别出的判别性语义关键词关联的局部属性。我们进一步展示，将关键词驱动的信息纳入早期和晚期融合方法能显著增强恶意事件分类。
引用
@article{arxiv.1610.06903,
title = {Exploitation of Semantic Keywords for Malicious Event Classification},
author = {Hyungtae Lee and Sungmin Eum and Joel Levis and Heesung Kwon and James Michaelis and Michael Kolodny},
journal= {arXiv preprint arXiv:1610.06903},
year = {2017}
}