视频事件重建与分析(VERA)系统技术报告——射手定位、模型、界面及更多
计算机视觉与模式识别
2019-07-08 v5 人机交互
机器学习
多媒体
摘要
每一分钟,都有数百小时的视频从世界各地上传到社交媒体网站和互联网。这些素材创建了人类相当一部分经历的视觉记录,并有助于阐明我们当下的生活方式。经过适当分析,这些视频还可以帮助分析人员重建感兴趣的事件,包括战争罪、侵犯人权和恐怖主义行为。机器学习和计算机视觉可以在这一过程中发挥关键作用。在本技术报告中,我们描述了视频事件重建与分析(VERA)系统。这一新工具汇集了我们过去几年开发的多种能力(包括视频同步和地理定位,以对缺乏时间和空间元数据的非结构化视频进行排序,以及声音识别算法),以实现对视频所捕获事件的重建和分析。在其他用途中,VERA能够从仅包含枪声的少数视频中定位射手。为展示这套工具的有效性,我们给出了2017年拉斯维加斯枪击案射手位置估计的结果,并表明VERA仅利用最初几次枪声就准确预测了射手位置。随后我们指出了可帮助改进系统并进一步减少过程中不必要人工劳动的未来方向。VERA的所有组件均通过Web界面运行,该界面支持人在回路验证以确保估计准确。所有相关源代码,包括Web界面和机器学习模型,均在Github上免费提供。我们希望研究人员和软件开发人员受到启发,在未来改进和扩展该系统,以更好地满足人权和公共安全的需求。
引用
@article{arxiv.1905.13313,
title = {Technical Report of the Video Event Reconstruction and Analysis (VERA) System -- Shooter Localization, Models, Interface, and Beyond},
author = {Junwei Liang and Jay D. Aronson and Alexander Hauptmann},
journal= {arXiv preprint arXiv:1905.13313},
year = {2019}
}
备注
The code and models are available at https://github.com/JunweiLiang/VERA_Shooter_Localization . Our system is live at https://vera.cs.cmu.edu/