OFAR：面向非法直播识别的多模态证据检索框架
信息检索
2023-04-27 v2
摘要
非法直播识别旨在帮助直播平台即时识别直播中的非法行为（如贩卖珍稀濒危动物），在净化网络环境中起着关键作用。传统上，直播平台需雇佣专业人员手动识别潜在非法直播。具体而言，专业人员需从大规模知识库中检索相关证据以评估给定直播片段是否包含非法行为，这既耗时又费力。为解决此问题，本文提出一种名为 OFAR 的多模态证据检索系统，以辅助非法直播识别。OFAR 由三个模块组成：查询编码器、文档编码器和基于 MaxSim 的对比式后期交互。查询编码器与文档编码器均采用在大规模多模态数据集上预训练的先进 OFA 编码器实现。在最后模块中，我们在基于 MaxiSim 的后期交互基础上引入对比学习，以增强模型的查询-文档匹配能力。所提框架在工业数据集 TaoLive 上取得显著提升，证明了本方案的优势。
引用
@article{arxiv.2304.12608,
title = {OFAR: A Multimodal Evidence Retrieval Framework for Illegal Live-streaming Identification},
author = {Lin Dengtian and Ma Yang and Li Yuhong and Song Xuemeng and Wu Jianlong and Nie Liqiang},
journal= {arXiv preprint arXiv:2304.12608},
year = {2023}
}