KiC：面向大语言模型经济高效文本生成的关键词启发式级联框架
计算与语言
2025-07-21 v1
摘要
大语言模型在广泛的自然语言处理任务中展现了最先进的性能。然而，高性能模型通常只能通过API访问，导致高昂的推理成本。级联方法通过首先使用较便宜的模型，仅在必要时升级到更强的模型来解决这一问题。然而，现有的级联方法难以选择可靠的代表性响应并评估自由形式输出的整体可靠性，因为它们依赖于精确的文本匹配。为了克服这些限制，我们提出了关键词启发式级联（KiC），一种用于经济高效的自由形式文本生成的新框架。KiC从较弱模型的多个输出中识别出最具代表性的答案，并评估其他响应与其的语义对齐程度。基于对齐程度，KiC决定是接受较弱模型的输出还是升级到更强的模型。在三个自由形式文本生成基准上的实验表明，KiC达到了GPT-4准确率的97.53%，同时平均降低了28.81%的API成本，甚至在一个特定基准上超越了GPT-4。
引用
@article{arxiv.2507.13666,
title = {KiC: Keyword-inspired Cascade for Cost-Efficient Text Generation with LLMs},
author = {Woo-Chan Kim and Ji-Hoon Park and Seong-Whan Lee},
journal= {arXiv preprint arXiv:2507.13666},
year = {2025}
}