基于 Transformer 的日语闲聊系统训练策略实证分析
计算与语言
2021-09-14 v1 人工智能
摘要
近年来，基于 Transformer 编码器-解码器模型提出了若干高性能对话系统。尽管先前研究分析了模型参数与解码方法在整体指标上对主观对话评价的影响，但未分析微调数据集的差异如何影响用户的细致印象。此外，基于 Transformer 的方法仅在英语上得到验证，尚未在如日语这类语际距离较大的语言上验证。本研究中，我们开发了大规模的基于 Transformer 的日语对话模型与日语闲聊数据集，以检验基于 Transformer 的方法构建闲聊对话系统的有效性。我们评估并分析了不同微调数据集、模型参数及附加信息使用情况下人类对话的印象。
引用
@article{arxiv.2109.05217,
title = {Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems},
author = {Hiroaki Sugiyama and Masahiro Mizukami and Tsunehiro Arimoto and Hiromi Narimatsu and Yuya Chiba and Hideharu Nakajima and Toyomi Meguro},
journal= {arXiv preprint arXiv:2109.05217},
year = {2021}
}
备注
11 pages, 2 figures