ASSED——一种基于自适应社会传感器数据过滤的物理事件识别框架
社会与信息网络
2019-09-18 v1 机器学习
信号处理
摘要
物理事件检测长期以来一直是基于数值传感器数据运行的静态事件处理器的领域。这适用于飓风等大规模强信号事件以及地震等重要事件类别。然而，对于滑坡、野火和洪水等多种领域，传感器覆盖不足。社交网络提供了来自数十亿用户的海量数据，但这些通用社会传感器的数据比物理传感器含有更多噪声。社会传感器带来的一大难题是概念漂移（concept drift），即与某现象相关的术语随时间演变，导致静态机器学习（ML）分类器效果下降。为此，我们开发了ASSED（自适应社会传感器事件检测）框架，其包含基于ML的事件处理引擎，并展示了该框架如何以低延迟、高可扩展性和准确覆盖对强信号与弱信号进行简单及复杂物理事件检测。具体而言，ASSED是一个利用来自高置信源（物理与标注传感器）和社交网络的流数据，通过机器学习支持连续过滤器生成与更新的框架。我们构建ASSED以支持将高置信源整合进社会传感器事件检测以生成高质量过滤器，并通过跟踪自身性能实现动态过滤器选择。我们通过滑坡检测应用展示ASSED的能力：相比静态方法多检测出近350%的滑坡。更重要的是，ASSED自动化处理概念漂移：在初始数据采集与分类器训练四年后，ASSED的事件检测准确率达0.988（无需专家人工干预），而静态方法仅为0.762。
引用
@article{arxiv.1909.07596,
title = {ASSED -- A Framework for Identifying Physical Events through Adaptive Social Sensor Data Filtering},
author = {Abhijit Suprem and Calton Pu},
journal= {arXiv preprint arXiv:1909.07596},
year = {2019}
}