词典例句的低成本生成与评估
计算与语言
2024-04-10 v1 人工智能
机器学习
摘要
词典例句在说明单词定义和用法方面起着重要作用，但手动创建高质量的句子具有挑战性。先前的工作表明，语言模型可以训练生成例句。然而，它们依赖于昂贵的定制模型和词义数据集来生成和评估其工作。基础模型的快速进步为创建低成本的零样本方法用于词典例句的生成和评估提供了机会。我们引入了一种新的自动评估指标OxfordEval，用于衡量生成句子相对于现有牛津词典句子的胜率。OxfordEval与人类判断高度一致，实现了大规模自动化质量评估。我们尝试了各种LLM和配置来生成跨词类的词典句子。我们还采用了一种新颖的方法，使用掩码语言模型来识别和选择最能体现词义的句子。最终的模型FM-MLM在OxfordEval上相对于牛津基线句子的胜率超过85.1%，而先前模型生成句子的胜率为39.8%。
引用
@article{arxiv.2404.06224,
title = {Low-Cost Generation and Evaluation of Dictionary Example Sentences},
author = {Bill Cai and Clarence Boon Liang Ng and Daniel Tan and Shelvia Hotama},
journal= {arXiv preprint arXiv:2404.06224},
year = {2024}
}