TOT:用于多模态仇恨检测的拓扑感知最优传输
计算与语言
2023-04-25 v2 人工智能
多媒体
摘要
多模态仇恨检测旨在识别网络上的有害内容(如表情包),对于构建健康的网络环境至关重要。先前的工作在检测显性仇恨言论方面进行了启发性的探索。然而,它们大多数方法忽视了对隐性危害的分析,这尤其具有挑战性,因为显性的文本标记和人口统计视觉线索常被扭曲或缺失。所采用的跨模态注意力机制也受困于分布模态鸿沟且缺乏逻辑可解释性。为解决这些语义鸿沟问题,我们提出 TOT:一种拓扑感知最优传输框架,用于解读表情包场景中的隐性危害,该框架将跨模态对齐问题表述为最优传输方案的解。具体而言,我们利用最优传输核方法从多模态中捕获互补信息。核嵌入提供了非线性变换能力以重现再生核希尔伯特空间(RKHS),这对于消除分布模态鸿沟具有重要意义。此外,我们基于对齐表示感知拓扑信息以进行二部图路径推理。在两个公开基准数据集上取得的新最优(state-of-the-art)性能,以及进一步的视觉分析,证明了 TOT 在捕获隐性跨模态对齐方面的优越性。
引用
@article{arxiv.2303.09314,
title = {TOT: Topology-Aware Optimal Transport For Multimodal Hate Detection},
author = {Linhao Zhang and Li Jin and Xian Sun and Guangluan Xu and Zequn Zhang and Xiaoyu Li and Nayu Liu and Qing Liu and Shiyao Yan},
journal= {arXiv preprint arXiv:2303.09314},
year = {2023}
}
备注
accepted at AAAI23