将问答作为编程以解决时间敏感问题
计算与语言
2023-10-23 v3
摘要
问答在人类日常生活中起着关键作用，因为它涉及我们对世界知识的获取。然而，由于真实世界事实的动态与不断变化之特性，当问题中的时间约束改变时，答案可能完全不同。近来，大语言模型（LLM）在问答中展现出卓越的智能，而我们的实验揭示上述问题对现有 LLM 仍构成显著挑战。这可归因于 LLM 无法基于表层文本语义进行严谨推理。为克服此局限，我们不直接要求 LLM 回答问题，而是提出一种新方法，将问答任务重构为编程（QAaP）。具体而言，借助现代 LLM 对自然语言与编程语言均具有的优越理解能力，我们努力利用 LLM 将多样表达文本表示为结构良好的代码，并通过编程从多个候选中选择最匹配答案。我们在若干时间敏感问答数据集上评估了 QAaP 框架，取得了可观提升，较强基线最高达 14.5%。我们的代码与数据见 https://github.com/TianHongZXY/qaap
引用
@article{arxiv.2305.14221,
title = {Question Answering as Programming for Solving Time-Sensitive Questions},
author = {Xinyu Zhu and Cheng Yang and Bei Chen and Siheng Li and Jian-Guang Lou and Yujiu Yang},
journal= {arXiv preprint arXiv:2305.14221},
year = {2023}
}
备注
Accepted to EMNLP 2023 Main Conference