DarkBERT：面向互联网暗面的语言模型
计算与语言
2023-05-19 v2
摘要
近期研究表明，暗网（Dark Web）中使用的语言与表层网（Surface Web）存在明显差异。由于暗网研究通常需要对领域文本进行分析，特定于暗网的语言模型可为研究者提供有价值的见解。在本工作中，我们引入 DarkBERT，一个在暗网数据上预训练的语言模型。我们描述了为训练 DarkBERT 所采取的文本数据过滤与汇编步骤，以应对暗网极端的词汇与结构多样性，后者可能不利于对该领域建立恰当表示。我们评估了 DarkBERT 及其原始对照模型以及其他广泛使用的语言模型，以验证暗网领域特定模型在各种用例中带来的益处。我们的评估显示 DarkBERT 优于当前语言模型，并可作为未来暗网研究的宝贵资源。
引用
@article{arxiv.2305.08596,
title = {DarkBERT: A Language Model for the Dark Side of the Internet},
author = {Youngjin Jin and Eugene Jang and Jian Cui and Jin-Woo Chung and Yongjae Lee and Seungwon Shin},
journal= {arXiv preprint arXiv:2305.08596},
year = {2023}
}
备注
9 pages (main paper), 17 pages (including bibliography and appendix), to appear at the ACL 2023 Main Conference