用于瑞典语练习的演进型对话智能体中生成式对话模型的质量保证
软件工程
2022-03-30 v1 人工智能
计算与语言
摘要
由于移民大趋势，高效且有效的第二语言习得至关重要。一种提出的解决方案涉及用于以人为中心的交互式语言练习的 AI 赋能对话智能体。我们展示了针对为虚拟求职面试训练的专有生成式对话模型质量保证的正在进行的行为研究结果。行动小组引出了一组 38 项需求，我们为其中的 15 项对演进中解决方案尤为重要的需求设计了相应的自动化测试用例。我们的结果表明，六种测试用例设计可检测候选模型间有意义的差异。尽管自然语言处理应用的质量保证十分复杂，我们为演进型对话智能体情境下的机器学习模型选择自动化框架提供了初步步骤。未来工作将聚焦于 MLOps 环境下的模型选择。
引用
@article{arxiv.2203.15414,
title = {Quality Assurance of Generative Dialog Models in an Evolving Conversational Agent Used for Swedish Language Practice},
author = {Markus Borg and Johan Bengtsson and Harald Österling and Alexander Hagelborn and Isabella Gagner and Piotr Tomaszewski},
journal= {arXiv preprint arXiv:2203.15414},
year = {2022}
}
备注
Accepted for publication in the Proc. of the 1st International Conference on AI Engineering, 2022