工具辅助生成策略的全面评估
计算与语言
2023-12-29 v2 人工智能
摘要
一个日益增长的研究领域探讨用工具（如搜索引擎、计算器）增强语言模型，以克服其缺陷（如知识缺失或错误、逻辑推断错误）。已有多种少样本工具使用策略被提出。然而，不同策略之间或这些策略与不使用工具的强基线之间缺乏系统且公平的比较。我们进行了广泛的实证分析，发现：（1）在不同数据集、样例难度级别和模型上，不使用工具的强基线可与工具辅助策略相媲美，这意味着利用上下文演示有效使用工具仍是一个未解决的难题；（2）对于知识检索任务，用工具*修正*错误输出的策略优于在生成*之前*或生成*期间*检索相关信息的策略；（3）工具辅助策略所需的 token 数量代价高昂——带来数量级额外的成本——却未转化为性能的显著提升。总体而言，我们的发现表明少样本工具集成仍是一个开放挑战，强调需要对未来策略进行全面评估以准确衡量其*收益*与*成本*。
引用
@article{arxiv.2310.10062,
title = {A Comprehensive Evaluation of Tool-Assisted Generation Strategies},
author = {Alon Jacovi and Avi Caciularu and Jonathan Herzig and Roee Aharoni and Bernd Bohnet and Mor Geva},
journal= {arXiv preprint arXiv:2310.10062},
year = {2023}
}
备注
Accepted to EMNLP 2023 Findings