APE：基于主动学习的工具，用于为基于LLM的实体匹配寻找信息量丰富的少样本示例
计算与语言
2024-08-12 v1
摘要
提示工程是一个迭代过程，通常需要大量人工努力来制定合适的指令，以有效引导大型语言模型 (LLMs) 完成特定任务。融入少样本示例是向LLMs提供精确指令的一种重要且有效的方法，能够提升LLM的性能。然而，为LLMs确定最具信息量的示例非常费力，常常需要在庞大的搜索空间中进行筛选。在本演示中，我们展示了一个名为APE (Active Prompt Engineering) 的人机协同工具，该工具旨在通过主动学习来优化提示。受主动学习启发，APE迭代地选择最模糊的示例供人类反馈，这些示例将被转化为提示中的少样本示例。演示录像可随提交材料找到，或访问 https://youtu.be/OwQ6MQx53-Y 观看。
引用
@article{arxiv.2408.04637,
title = {APE: Active Learning-based Tooling for Finding Informative Few-shot Examples for LLM-based Entity Matching},
author = {Kun Qian and Yisi Sang and Farima Fatahi Bayat and Anton Belyi and Xianqi Chu and Yash Govind and Samira Khorshidi and Rahul Khot and Katherine Luna and Azadeh Nikfarjam and Xiaoguang Qi and Fei Wu and Xianhan Zhang and Yunyao Li},
journal= {arXiv preprint arXiv:2408.04637},
year = {2024}
}
备注
3 pages, Proceedings of the Fifth Workshop on Data Science with Human-in-the-Loop (DaSH 2024)