中文

GLiClass:序列分类任务的通用轻量模型

机器学习 2025-08-12 v1 人工智能 计算与语言

摘要

分类是人工智能应用中最广泛的任务之一,常作为过滤、排序和数据分类的第一步。由于现代 AI 系统必须处理大量输入数据,而且早期管道阶段的错误会在下游放大,实现高效准确性至关重要。此外,分类要求可以根据用户需求动态变化, necessitating models with strong zero-shot capabilities。虽然生成式大语言模型(LLM)因其通用性而成为零样本分类的主流选择,但它们存在指令遵循不一致和计算效率低下的问题。交叉编码器(cross-encoder)常用于 RAG 管道中的重排序器,但面临的瓶颈是必须顺序处理文本-标签对,在标签集合较大时效率显著下降。基于嵌入的方法在效率方面表现良好,但在涉及逻辑和语义约束的复杂场景中效果有限。我们提出了 GLiClass,一种新颖的方法,将 GLiNER 架构适用于序列分类任务。我们的做法在准确性和效率方面均表现优异,相当于基于嵌入的方法,同时保持了适用于零样本和少样本学习场景的灵活性。此外,我们将近端策略优化(PPO)适用于多标签文本分类,使分类器能够在数据稀缺或来自人类反馈的条件下进行训练。

关键词

引用

@article{arxiv.2508.07662,
  title  = {GLiClass: Generalist Lightweight Model for Sequence Classification Tasks},
  author = {Ihor Stepanov and Mykhailo Shtopko and Dmytro Vodianytskyi and Oleksandr Lukashov and Alexander Yavorskyi and Mykyta Yaroshenko},
  journal= {arXiv preprint arXiv:2508.07662},
  year   = {2025}
}

备注

14 pages, 7 tables, 2 figures