(Chat)GPT 对决 BERT：语义变化检测的正义黎明
计算与语言
2024-04-30 v3
摘要
在自然语言处理的宇宙中，基于 Transformer 的语言模型，如 BERT 和 (Chat)GPT，已成为拥有解决开放研究问题巨大能力的词汇超级英雄。本文特别聚焦于语义变化这一时间性问题，并评估它们解决词在上下文中（WiC）任务的两个历时性扩展版本——TempoWiC 和 HistoWiC——的能力。具体而言，我们探究了像 ChatGPT（及 GPT）3.5 这样的新型现成技术相较于 BERT 的潜力，后者代表了当前在语义变化建模方面处于最先进水平的一系列模型。我们的实验是首次尝试评估 (Chat)GPT 用于研究语义变化。结果表明，ChatGPT 的性能显著低于基础的 GPT 版本。此外，我们的结果表明，(Chat)GPT 在检测长期变化方面性能略低于 BERT，但在检测短期变化方面性能则显著更差。
引用
@article{arxiv.2401.14040,
title = {(Chat)GPT v BERT: Dawn of Justice for Semantic Change Detection},
author = {Francesco Periti and Haim Dubossarsky and Nina Tahmasebi},
journal= {arXiv preprint arXiv:2401.14040},
year = {2024}
}
备注
Accepted to the Findings of EACL 2024 (https://aclanthology.org/2024.findings-eacl.29.pdf)