面向对话式 AI 的预训练语言模型简述——NLP 的新时代
计算与语言
2021-04-23 v1 人工智能
信息检索
摘要
构建能够与人类自然交流的对话系统是基于智能体的计算领域中一个具有挑战性且有趣的问题。该领域的快速发展通常受到长期存在的数据稀缺问题的阻碍，因为这些系统需要从不足的任务特定数据集中学习句法、语法、决策与推理。近期提出的预训练语言模型有潜力解决数据稀缺问题，并通过生成上下文相关的词嵌入带来显著优势。这些模型被视为 NLP 中的 ImageNet 对应物，并已证明能够捕捉语言的多个层面，如层次关系、长期依赖和情感。在这篇简述性综述中，我们讨论了预训练语言模型领域的近期进展。我们还探讨了如何利用这些语言模型的优势来设计更具吸引力与更善表达的对话智能体。因此，本文旨在明确这些预训练模型能否克服对话系统相关的挑战，以及其架构如何被利用以克服这些挑战。文中也探讨了对话系统领域的开放性挑战。
引用
@article{arxiv.2104.10810,
title = {A Short Survey of Pre-trained Language Models for Conversational AI-A NewAge in NLP},
author = {Munazza Zaib and Quan Z. Sheng and Wei Emma Zhang},
journal= {arXiv preprint arXiv:2104.10810},
year = {2021}
}