无处不在的大语言模型对动态对抗性问题生成的阻碍与加速作用
计算与语言
2024-01-23 v1 人机交互
摘要
动态对抗性问题生成，即人类编写示例以难倒模型，旨在创建真实且具信息量的示例。然而，大语言模型（LLM）的出现对人类作者而言是一把双刃剑：越来越多的人有兴趣观察并挑战这些模型的极限，但由于模型作为对手强大得多，它们也更难被击败。为了理解这些模型如何影响对抗性问题编写过程，我们利用 LLM 和检索模型丰富了编写指导，帮助作者推理其问题为何不具备对抗性。虽然作者能够创建有趣且具挑战性的对抗性问题，但他们有时会诉诸技巧，导致生成的问题不仅对计算机而言，对人类而言也是模糊、主观或令人困惑的劣质问题。为了解决这些问题，我们提出了用于引导生成优质且具挑战性问题的新指标与激励机制，并发布了一个新的对抗性编写问题数据集。
引用
@article{arxiv.2401.11185,
title = {How the Advent of Ubiquitous Large Language Models both Stymie and Turbocharge Dynamic Adversarial Question Generation},
author = {Yoo Yeon Sung and Ishani Mondal and Jordan Boyd-Graber},
journal= {arXiv preprint arXiv:2401.11185},
year = {2024}
}