VideoModerator：电商多模态视频审核的风险感知框架
人机交互
2021-09-09 v1
摘要
视频审核指从电商直播中移除偏离或露骨内容，因社交与互动特性已变得普遍。然而，由于观看和审查包含视频帧与音频片段的多模态视频内容存在困难，该任务繁琐耗时。为保障有效视频审核，我们提出VideoModerator，一种将人类知识与机器洞察无缝融合的风险感知框架。该框架集成一组先进机器学习模型，从多模态视频内容提取风险感知特征并发现潜在偏离视频。此外，框架引入含三个视图的交互式可视化界面，即视频视图、帧视图和音频视图。视频视图中，我们采用分段时间线并高亮可能含偏离信息的高风险时段；帧视图中，提出一种结合风险感知特征与视频上下文的新型视觉摘要方法以实现快速视频导航；音频视图中，采用基于故事线的设计提供可用于探索音频内容的多面概览。进而，我们通过案例场景报告VideoModerator的使用，并开展实验与受控用户研究验证其有效性。
引用
@article{arxiv.2109.03479,
title = {VideoModerator: A Risk-aware Framework for Multimodal Video Moderation in E-Commerce},
author = {Tan Tang and Yanhong Wu and Lingyun Yu and Yuhong Li and Yingcai Wu},
journal= {arXiv preprint arXiv:2109.03479},
year = {2021}
}
备注
9 pages, 2 references