“我们吃奶奶吧”：标点对句子表征是否重要？
计算与语言
2022-08-09 v2 机器学习
摘要
基于神经网络的嵌入方法一直是创建文本向量表征以捕捉词汇与语义相似性和差异性的主流方法。通常，现有的编码方法将标点视为无关紧要的信息而忽略；因此，它们要么被当作预定义词元/单词处理，要么在预处理阶段被剔除。然而，标点可能在句子语义中发挥重要作用，如“Let's eat, grandma（我们吃吧，奶奶）”与“Let's eat grandma（我们吃奶奶吧）”所示。我们假设，一个感知标点的表征模型会影响下游任务的性能。为此，我们提出一种与模型无关的方法，融合句法与上下文信息，以提升情感分类任务的性能。我们通过在公开数据集上开展实验验证了发现，并给出案例研究，表明我们的模型能依据句中的标点生成表征。
引用
@article{arxiv.2101.03029,
title = {"Let's Eat Grandma": Does Punctuation Matter in Sentence Representation?},
author = {Mansooreh Karami and Ahmadreza Mosallanezhad and Michelle V Mancenido and Huan Liu},
journal= {arXiv preprint arXiv:2101.03029},
year = {2022}
}