中文

LOCUS:面向通用专业化的低成本定制系统与方法

计算与语言 2025-12-09 v1

摘要

我们提出LOCUS(LOw-cost Customization for Universal Specialization),一个管道,通过少量样本数据简化NLP模型的构建和训练,采用目标性检索、合成数据生成和参数高效调优。 LOCUS仅需少量标记样本,即可在广泛数据存储库中发现相关数据,通过原语数据生成合成额外训练样本,并使用全参数或低秩(LoRA)参数适应进行模型微调。我们的ethods 目标是命名实体识别(NER)和文本分类(TC)基准任务,始终优于强大的基线(包括GPT-4o),同时大幅降低成本和模型规模。我们得到的内存优化模型在保留99%完全微调准确率的同时,使用的内存占用仅为其1/20,同时在多个基准任务上超过GPT-4o的表现,仅使用其参数的1%。

关键词

引用

@article{arxiv.2512.06239,
  title  = {LOCUS: A System and Method for Low-Cost Customization for Universal Specialization},
  author = {Dhanasekar Sundararaman and Keying Li and Wayne Xiong and Aashna Garg},
  journal= {arXiv preprint arXiv:2512.06239},
  year   = {2025}
}