AnyTaskTune：通过任务微调实现高级领域特定解决方案
计算与语言
2024-07-10 v1 人工智能
摘要
大型语言模型（LLM）在各行各业的广泛部署常常忽视了个体和小型组织所需的细致要求，这些用户更从众于针对其特定业务情境而精准定制的模型，而非具备更广泛优势的通用模型。本文引入了一种新颖的微调方法——“任务微调”（Task-Fine-Tune），正式称为 AnyTaskTune，旨在提升模型在多样化领域特定任务上的性能。该方法包括精细识别和定义领域内的针对性子任务，然后为微调创建专业化数据集，从而优化任务相关模型性能。我们不仅在法律领域进行了详尽的微调实验，涉及关键词提取和句子预测等任务，还跨越了金融、医疗、法律、心理、消费者服务和人力资源等二十多个子任务。为证明方法的有效性并促进社区参与，我们将开源这些双语任务数据集。我们的发现表明，使用“任务微调”方法进行微调的模型不仅在这些特定任务上实现了卓越性能，还在各自领域内显著超越了具备更高通用能力的模型。我们的工作已公开于 https://github.com/PandaVT/DataTager。
引用
@article{arxiv.2407.07094,
title = {AnyTaskTune: Advanced Domain-Specific Solutions through Task-Fine-Tuning},
author = {Jiaxi Cui and Wentao Zhang and Jing Tang and Xudong Tong and Zhenwei Zhang and Amie and Jing Wen and Rongsheng Wang and Pengfei Wu},
journal= {arXiv preprint arXiv:2407.07094},
year = {2024}
}