BERT 是否像人类感知那样学习？通过词汇库理解语言风格
计算与语言
2021-11-15 v2
摘要
人们通过所写文本的语言风格传达其意图与态度。在本研究中，我们通过两个视角考察跨风格的词汇使用：人类感知与机器词重要性，因为不同词所提供的风格线索强度各异。为收集人类感知标签，我们在基准风格数据集之上构建了一个新数据集 Hummingbird。我们让众包工作者标出文本中具有代表性的词，这些词使他们认为文本具有以下风格：礼貌、情感、攻击性以及五种情绪类型。随后我们将这些人标词与来自诸如 BERT 这类流行微调风格分类器导出的词重要性进行比较。我们的结果表明，BERT 常将不相关于目标风格的内容词视为风格预测中使用的重要词，但人类并非如此感知，尽管对某些风格（例如正向情感和喜悦）而言，人类与机器识别的词在某些风格上存在显著重叠。
引用
@article{arxiv.2109.02738,
title = {Does BERT Learn as Humans Perceive? Understanding Linguistic Styles through Lexica},
author = {Shirley Anugrah Hayati and Dongyeop Kang and Lyle Ungar},
journal= {arXiv preprint arXiv:2109.02738},
year = {2021}
}
备注
Accepted at EMNLP 2021 Main Conference, updated typos and Appendix