人类与机器在问答中的过度信息提供现象
计算与语言
2023-05-15 v1
摘要
面对极性问题时，说话者常提供超出简单“是”或“否”的过度信息答案。但何种原则指导额外信息的选择？本文通过两项研究提供实验证据，表明人类回答中的过度信息性由对提问者目标相关性的考量所驱动，且他们根据问题所处的功能语境灵活调整。我们将这些人类结果作为考察最先进神经语言模型问答性能的强基准，对人类实验条目进行了广泛评估。我们发现大多数模型未能以类人方式调整其回答行为，且倾向于包含无关信息。我们表明 GPT-3 对提示形式高度敏感，仅在由示例和认知动机解释引导时才达到类人回答模式。
引用
@article{arxiv.2305.07151,
title = {Overinformative Question Answering by Humans and Machines},
author = {Polina Tsvilodub and Michael Franke and Robert D. Hawkins and Noah D. Goodman},
journal= {arXiv preprint arXiv:2305.07151},
year = {2023}
}
备注
7 pages, 2 figures, to appear in the Proceedings of the 45th Annual Conference of the Cognitive Science Society (2023)