基于神经网络的新闻数据分段点检测中的总变距离估计器

检测公共话语随重大事件而变的时刻对于理解社会动态至关重要。实际数据是高维、稀疏且噪声较大的, 这使得在该领域进行分段点检测是一个具有挑战性的任务。本文利用神经网络进行新闻数据的分段点检测, 引入一种基于所谓学习-困惑方案的方法, 该方案最初是用于检测物理系统中的相变。我们训练分类器来区分来自不同时期的文章。所得分类准确率用于估计 underlying content 分布之间的总变距离, 在显著距离突出显示分段点。我们在合成数据集和来自《卫报》的真实数据上 demonstrating 该方法的有效性, 成功识别了包括9/11、新冠疫情以及总统选举在内的重大历史事件。该方法需要的领域知识最少, 可以自主发现公共话语的显著变化, 并且会产生内容变化的量化度量, 这对于新闻工作、政策分析和危机监测都很有价值。