视频会议中的打断事件检测
计算机视觉与模式识别
2023-03-06 v1 社会与信息网络
摘要
近年来，视频会议（VC）在各类活动中的普及度急剧上升，VC 用户数量随之激增。VC 使用的激增伴随着多种新出现的隐私与安全挑战。VC 会议成为各类安全攻击的目标，例如 Zoombombing。其他 VC 相关挑战也随之出现：例如在 COVID 封锁期间，教育工作者不得不在在线环境中教学，难以让学生长时间保持参与。与此同时，可用 VC 视频的数量呈指数增长，用户与企业难以在汇聚的数据量中找出 VC 会议中的异常片段。这类影响多数参会者的异常事件可能是时间点上的兴趣指标，包括安全攻击或会议氛围的其他变化，如有人加入会议或分享戏剧性内容。本文提出一种检测 VC 数据中异常事件的新算法。我们整理了包含被打断会议的公开 VC 录像，利用算法分析视频并提取检测到异常发生的时间窗。我们的算法是一条流水线，结合多方法多步骤：检测每帧中的用户人脸、跟踪会议期间人脸位置，并为每帧每人脸生成面部表情的向量表示；向量表示用于监测各参与者全程面部表情变化；跨所有参与者的参数量化会议氛围整体变化，并转化为事件异常检测。这是首个自动检测 VC 会议异常事件的开放流水线。我们的模型在收集的数据集上以 92.3% 的精度检测异常事件。
引用
@article{arxiv.2303.02052,
title = {Interruptions detection in video conferences},
author = {Shmuel Horowitz and Dima Kagan and Galit Fuhrmann Alpert and Michael Fire},
journal= {arXiv preprint arXiv:2303.02052},
year = {2023}
}