HLE-UPC 在 SemEval-2021 任务 5 中的方案：用于毒性片段检测的多深度 DistilBERT
计算与语言
2021-08-03 v3 人工智能
摘要
本文介绍了我们提交给 SemEval-2021 任务 5（毒性片段检测）的工作。该任务的目的是检测使文本具有毒性的片段，这由于若干原因而是一项复杂的工作。首先，由于毒性本身具有内在主观性；其次，由于毒性并非总来自诸如侮辱或冒犯之类的单个词，有时来自由单独看来可能无毒的词语构成的整体表达。遵循同时关注单个词和多词表达这一思路，我们研究了使用多深度 DistilBERT 模型的影响，该模型利用来自不同层的嵌入来估计最终的逐词元毒性。我们的定量结果表明，使用来自多个深度的信息提升了模型的性能。最后，我们还对我们的最佳模型进行了定性分析。
引用
@article{arxiv.2104.00639,
title = {HLE-UPC at SemEval-2021 Task 5: Multi-Depth DistilBERT for Toxic Spans Detection},
author = {Rafel Palliser-Sans and Albert Rial-Farràs},
journal= {arXiv preprint arXiv:2104.00639},
year = {2021}
}
备注
7 pages, SemEval-2021 Workshop, ACL-IJCNLP 2021