辅助人类进行复杂比较:大规模自动化信息比较
计算与语言
2024-09-20 v2 人工智能
机器学习
摘要
生成式大语言模型能够在知识领域之间实现高效分析,在信息比较方面可与人类专家媲美。然而,LLM在信息比较中的应用面临可扩展性挑战,因为难以在大型上下文中维护信息并克服模型令牌限制。为解决这些挑战,我们开发了新颖的抽象摘要与标准驱动比较端点(ASCEnd)系统,以实现大规模自动化信息比较。我们的系统采用语义文本相似度比较来生成基于证据的分析。我们利用经过验证的数据处理策略,如抽象摘要和检索增强生成,以克服令牌限制并在模型推理期间保留相关信息。使用零样本策略设计提示,以将信息上下文化,从而改进模型推理。我们使用ROUGE评分评估抽象摘要,并通过调查响应评估生成的比较质量。在ASCEnd系统上评估的模型显示出理想的结果,提供了对系统预期性能的见解。ASCEnd是一种新颖的系统工具,能够在知识领域之间实现准确、大规模自动化的信息比较,克服了上下文长度和检索方面的限制。
引用
@article{arxiv.2404.04351,
title = {Assisting humans in complex comparisons: automated information comparison at scale},
author = {Truman Yuen and Graham A. Watt and Yuri Lawryshyn},
journal= {arXiv preprint arXiv:2404.04351},
year = {2024}
}
备注
11 pages, 7 figures, 5 tables