规划未来：使用分层零样本和少样本分类器的自动项目分类
统计方法学
2023-12-07 v1 计算机与社会
机器学习
摘要
在测试行业中，精确的项目分类对于使考试题目与评估蓝图中指定的内容领域保持一致至关重要。传统方法要么需要人工分类，这既费力又容易出错；要么利用需要大量训练数据的机器学习，通常会导致模型欠拟合或过拟合问题。本研究揭示了一种新颖的方法，采用零样本和少样本生成式预训练 Transformer (GPT) 分类器进行分层项目分类，最大限度地减少对训练数据的需求，转而利用类人的语言描述来定义类别。通过结构化的 Python 字典，可以无缝地导航考试蓝图的分层性质，从而实现跨多个层级的项目分层分类。使用人工数据的初步仿真证明了该方法的有效性，其以 F1 分数衡量的平均准确率达到 92.91%。该方法进一步应用于美国家庭医学委员会 (ABFM) 进行的 2022 年住院医师培训考试 (ITE) 的真实考试题目，在 15 分钟内根据新制定的蓝图迅速重新分类了 200 个项目，而这项任务传统上在编辑和医生中可能需要数天时间。这种创新方法不仅大幅缩短了分类时间，还确保了一致的、原则驱动的分类，最大限度地减少了人为偏见和差异。通过调整定义来细化分类的能力增强了其鲁棒性和可持续性。
引用
@article{arxiv.2312.03561,
title = {Blueprinting the Future: Automatic Item Categorization using Hierarchical Zero-Shot and Few-Shot Classifiers},
author = {Ting Wang and Keith Stelter and Jenn Floyd and Thomas O'Neill and Nathaniel Hendrix and Andrew Bazemore and Kevin Rode and Warren Newton},
journal= {arXiv preprint arXiv:2312.03561},
year = {2023}
}