Instagram上非法毒品贩运事件的检测：一种深度多模态多标签学习方法

Instagram和Twitter等社交媒体已成为贩卖和出售非法毒品的重要平台。在线非法毒品贩运的检测对于打击非法毒品的在线交易至关重要。然而，其法律地位常随空间和时间变化；即使对于同一种毒品，联邦和州立法对其合法性也可能有不同规定。同时，更多毒品贩运事件伪装成一种新颖的广告评论形式，导致信息异构。因此，从社交媒体中准确检测非法毒品贩运事件（IDTEs）变得更具挑战性。在这项工作中，我们首次对Instagram上IDTEs的细粒度检测进行了系统性研究。我们提出采用深度多模态多标签学习（DMML）方法来检测IDTEs，并在一个名为多模态IDTE（MM-IDTE）的新构建数据集上证明了其有效性。具体而言，我们的模型以文本和图像数据作为输入，结合多模态信息来预测非法毒品的多个标签。受BERT成功的启发，我们开发了一个自监督多模态双向transformer，通过联合微调预训练的文本和图像编码器实现。我们构建了一个带有手动标注多毒品标签的大规模数据集MM-IDTE，以支持非法毒品的细粒度检测。在MM-IDTE数据集上的大量实验结果表明，即使在存在试图规避检测的特殊字符和风格变化的情况下，所提出的DMML方法也能准确检测IDTEs。