嘿 AI，你能通过与智能体对话解决复杂任务吗？
计算与语言
2022-05-11 v2
摘要
为每个复杂任务从头训练巨型模型在资源和数据上都是低效的。为帮助开发能够利用现有系统的模型，我们提出一个新挑战：通过学习用自然语言与现有智能体（或模型）交流来解决复杂任务。我们设计了一个合成基准 CommaQA，包含三个复杂推理任务（显式、隐式、数值），旨在通过现有 QA 智能体交流解决。例如，使用文本和表格 QA 智能体来回答诸如“来自美国谁标枪投得最远？”的问题。我们表明，即使能访问每个智能体的知识和金事实监督，黑盒模型仍难以从零学习该任务（准确率低于 50%）。相比之下，学习与该智能体交流的模型优于黑盒模型，在给定金分解监督时达到 100% 的分数。然而，我们表明，不依赖任何辅助监督或数据、通过学习与现有智能体交流来解决复杂任务的挑战仍然高度难以捉摸。我们发布 CommaQA 以及一个组合泛化测试划分，以推动该方向的研究。数据集与代码见 https://github.com/allenai/commaqa。
引用
@article{arxiv.2110.08542,
title = {Hey AI, Can You Solve Complex Tasks by Talking to Agents?},
author = {Tushar Khot and Kyle Richardson and Daniel Khashabi and Ashish Sabharwal},
journal= {arXiv preprint arXiv:2110.08542},
year = {2022}
}
备注
Accepted to Findings of ACL 2022