基于音频转录的视频虚讯信息检测

线上虚讯是近期最具挑战性的问题之一，导致严重后果，包括政治极化、对民主的攻击以及公共卫生风险。虚讯在任何拥有大量用户的平台上都会出现，包括在线社交网络和信息传递应用中。它渗透于所有媒介和内容形式，包括图像、文本、音频和视频。distinctively，视频形式的虚讯对于事实核查者来说代表着多层次的挑战，由于个人可以轻易在各种视频分享平台上录制和上传视频。以前的研究工作聚焦于检测视频形式的虚讯，关注视频是否包含虚讯或在视频层面上。虽然这种方法有用，但它只提供一种受限且难以解释的视图，由于不提供虚讯发生于视频中何处以及什么内容（即主张）负责视频虚讯性质的额外上下文。本文试图填补这一研究空白，通过创建两个新数据集来探索通过音频转录进行视频虚讯检测，侧重于识别视频中负责视频虚讯主张的片段（虚讯信息检测）。我们提出了两个新数据集。我们为每个视频的音频进行转录，识别出虚讯主张出现的视频片段， resulting in 超过 500 个视频，包含 2400 多个带有已核查主张的片段。随后，我们采用基于最先进语言模型构建的分类器，我们的结果显示，我们可以以 0.68 的 F1 分数识别视频中是否存在虚讯的部位。我们公开了我们的标注数据集。我们也发布了所有转录、音频和视频。