ColBERT：在并行神经网络中使用 BERT 句子嵌入进行计算幽默处理
计算与语言
2024-03-20 v7 机器学习
摘要
幽默检测与评分的自动化在现代技术中具有有趣的应用场景，如人形机器人、聊天机器人与虚拟助手。本文中，我们提出一种基于流行幽默语言学理论来检测和评短文本中幽默的新方法。所提技术方法首先将给定文本的句子分离，并利用 BERT 模型为每句生成嵌入。这些嵌入被输入神经网络中独立的隐藏层线（每句一条线）以提取潜在特征。最后，并行线被拼接以确定句子间的一致性及其他关系，并预测目标值。我们随文提供一个由 200,000 条正式短文本组成的幽默检测新颖数据集。除在新数据集上评估工作外，我们参与了一项专注于西班牙语推文幽默评分的实时机器学习竞赛。所提模型在幽默检测实验中取得 0.982 与 0.869 的 F1 分数，优于通用及最先进模型。在两种对比设置下的评估证实了模型的强度与鲁棒性，并提示在当前任务中取得高精度的两个重要因素：1) 句子嵌入的使用；2) 在模型设计中利用幽默的语言学结构。
引用
@article{arxiv.2004.12765,
title = {ColBERT: Using BERT Sentence Embedding in Parallel Neural Networks for Computational Humor},
author = {Issa Annamoradnejad and Gohar Zoghi},
journal= {arXiv preprint arXiv:2004.12765},
year = {2024}
}
备注
12 pages, 4 tables, 1 figure