分析预训练语言模型在日语敬语转换上的句法泛化能力
计算与语言
2023-06-06 v1
摘要
使用日语敬语具有挑战性，因为它不仅需要语法规则的知识，还需要诸如社会关系之类的上下文信息。目前尚不清楚预训练大语言模型（LLMs）是否能像人类一样灵活处理日语敬语。为分析这一点，我们引入了一个考虑对话中提及人物之间社会关系的敬语转换任务。我们从各种句子结构的问题模板构建了一个日语敬语数据集，以在两种设定下研究领先 LLM 之一 GPT-3 在该任务上的句法泛化能力：微调与提示学习。我们的结果表明，微调的 GPT-3 在上下文感知的敬语转换任务上表现优于基于提示的模型。除在使用涉及直接引语的数据测试时外，微调模型对复合敬语句整体表现出句法泛化性。
引用
@article{arxiv.2306.03055,
title = {Analyzing Syntactic Generalization Capacity of Pre-trained Language Models on Japanese Honorific Conversion},
author = {Ryo Sekizawa and Hitomi Yanaka},
journal= {arXiv preprint arXiv:2306.03055},
year = {2023}
}
备注
To appear in the Proceedings of the 12th Joint Conference on Lexical and Computational Semantics (*SEM2023) with ACL2023