生成式 AI 时代的自动文本评分:为 GPU 资源有限者所用
机器学习
2024-07-03 v1 人工智能
计算与语言
摘要
当前关于生成式语言模型(GLMs)用于自动文本评分(ATS)的研究几乎完全依赖于通过应用程序编程接口(APIs)查询专有模型。然而,这种做法涉及透明性和安全性问题,且在效率和可定制性方面几乎没有提供优势。随着小型开源模型的普及,现在可以使用配置有限的消费级硬件(即“GPU 贫困者”)的计算机来探索GLMs。在本研究中,我们分析了开源小规模GLMs用于ATS的性能和效率。结果表明,GLMs可以微调以实现足够的性能,尽管并非最先进的水平。除了ATS,我们对模型生成反馈的能力进行了初步探索,通过提示GLMs解释其评分。模型生成的反馈显示出前景,但需要更严格的评估,聚焦于特定的用例。
引用
@article{arxiv.2407.01873,
title = {Automated Text Scoring in the Age of Generative AI for the GPU-poor},
author = {Christopher Michael Ormerod and Alexander Kwako},
journal= {arXiv preprint arXiv:2407.01873},
year = {2024}
}
备注
21 pages, 1 figure