成人服务网站文本分析的语言模型

人口贩运指的是使用武力、欺骗或强迫使个人屈服于商业性性行为。成人服务网站 (ASW) 已并且继续被链接到人口贩运，为贩运者广告其受害者提供平台。因此，参与打击人口贩运的组织经常使用 ASW 数据以识别潜在的人口贩运受害者。将 ASW 数据转化为可操作见解的关键挑战是文本分析。以往使用 ASW 数据的研究表明，ASW 广告文本对于链接广告至关重要。然而，处理这类文本具有挑战性，因为其广泛使用表情符号、语言不佳且刻意混淆以规避执法部门的 scrutiny。我们对语言建模方法进行了全面研究，包括简单的信息检索方法、预训练变换器和自定义变换器模型。我们证明了 ASW 文本数据特征允许使用相对较小的 GPU 资源训练高效的自定义变换器模型，并可用于在消费级硬件上进行推理。我们的自定义模型在准确率、召回率、F1 分数和 ROC AUC 上均优于 fine-tuned 的著名编码器-only 变换器模型，包括 BERT-base、RoBERTa 和 ModernBERT。我们展示了使用我们表现最好的自定义配置在三个与 ASW 数据分析相关的任务中：(i) 分解表示 ASW 数据图的巨型组件，(ii) 对 ASW 广告文本进行聚类，和 (iii) 使用所学 token 嵌入来理解我们研究的非法情境中表情符号的使用。我们开发的模型代表了 ASW 文本分析的重大进展，可在各种下游应用和研究中利用。