面试官-候选人角色扮演：迈向开发真实世界 NLP 系统
计算与语言
2021-07-02 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
标准的 NLP 任务并未纳入若干常见的真实世界场景，例如就问题寻求澄清、利用线索、为避免过度错误回答而 abstain（弃权）等。这种任务定义上的差异阻碍了 NLP 系统在真实环境中的应用。在本工作中，我们朝弥合这一差距迈出一步，提出了一个多阶段任务，用于模拟典型的人-人提问者-回答者交互（如面试）。具体而言，系统在各个阶段被提供问题简化、知识陈述、示例等，以在其置信度不足时改善预测。我们在自然语言推理（Natural Language Inference）设定下实例化所提出的任务，其中系统同时在域内和域外（OOD）输入上接受评估。我们进行了全面的实验，发现相较于标准无引导预测，我们任务的多阶段形式在阶段 1 带来最高 2.29%、阶段 2 为 1.91%、阶段 3 为 54.88%、阶段 4 为 72.02% 的 OOD 泛化性能提升。然而，我们的任务给 NLP 研究者留下了显著挑战，以进一步提升各阶段的 OOD 性能。
引用
@article{arxiv.2107.00315,
title = {Interviewer-Candidate Role Play: Towards Developing Real-World NLP Systems},
author = {Neeraj Varshney and Swaroop Mishra and Chitta Baral},
journal= {arXiv preprint arXiv:2107.00315},
year = {2021}
}
备注
12 pages