Logistic回归使小型LLM在“十之不如一”分类中强大且可解释
计算与语言
2024-10-07 v2 机器学习
机器学习
摘要
对于简单分类任务，我们展示了用户可从众多优势中受益，包括隐私、可用性、成本和可解释性，而无需在性能或引入额外标注成本方面作出妥协。这些优势在商业应用和更广泛的AI民主化中都很重要。通过在17个句子分类任务（2-4类）上的实验，我们表明，对小型LLM嵌入进行加权Logistic回归等于（通常优于）大型LLM在“十之不如一”方法中的性能。这需要的标注实例数量与验证大型LLM性能所需的数量相同。最后，我们提取了对分类决策稳定且合理的解释。
关键词
引用
@article{arxiv.2408.03414,
title = {Logistic Regression makes small LLMs strong and explainable "tens-of-shot" classifiers},
author = {Marcus Buckmann and Edward Hill},
journal= {arXiv preprint arXiv:2408.03414},
year = {2024}
}
备注
48 pages, 24 figures