授权 GPT-4 许可证与机会：提升少样本事件检测的准确率与置信度估计
人工智能
2024-08-05 v1 计算与语言
摘要
大型语言模型（LLM）如 GPT-4 在少样本学习情境中展现出足够的潜力，表明可用于生成“银数据”并通过迭代应用和审查来完善新本体。这种工作流程在可靠的置信度估计方面存在弱点，而既有的补偿方法需要显著的额外复杂性和计算。本研究探索了针对 GPT-4 在事件检测少样本学习情境下的有效置信度估计方法，以 BETTER 本体为车载。关键创新在于扩展 GPT-4 所呈现的提示和任务，提供在不确定时进行推测的许可证（License）与量化与解释不确定性的机会（Opportunity，简称 L&O）。该方法在无需额外 machinery 的情况下提升了准确率，并提供了可用性的置信度措施（0.759 AUC）。
引用
@article{arxiv.2408.00914,
title = {Granting GPT-4 License and Opportunity: Enhancing Accuracy and Confidence Estimation for Few-Shot Event Detection},
author = {Steven Fincke and Adrien Bibal and Elizabeth Boschee},
journal= {arXiv preprint arXiv:2408.00914},
year = {2024}
}