JsonTuning：迈向可泛化、鲁棒且可控的指令微调
计算与语言
2025-06-10 v6
摘要
指令微调对于提升大语言模型（LLM）的性能至关重要，但现有的文本到文本方法（称为 TextTuning）由于缺乏显式的任务结构，面临泛化性、鲁棒性与可控性方面的问题。我们提出 JsonTuning，一种使用 JSON 结构表示任务的结构到结构方法。该方法通过厘清任务要素及其关系来改善泛化性，通过最小化歧义来增强鲁棒性，并通过允许对输出进行精确控制来提升可控性。我们利用多种语言模型与基准，对 JsonTuning 与 TextTuning 进行了广泛的比较分析。我们的发现表明，JsonTuning 在不同场景下于性能、鲁棒性与可控性方面持续超越 TextTuning。通过克服 TextTuning 的局限，JsonTuning 在开发更有效、更可靠且能处理多样场景的 LLM 方面展现出显著潜力。
引用
@article{arxiv.2310.02953,
title = {JsonTuning: Towards Generalizable, Robust, and Controllable Instruction Tuning},
author = {Chang Gao and Wenxuan Zhang and Guizhen Chen and Wai Lam},
journal= {arXiv preprint arXiv:2310.02953},
year = {2025}
}
备注
ACL 2025 Findings