面向文本修订生成的意图自适应LLM微调
计算与语言
2026-03-02 v2
摘要
大型语言模型（LLMs）在各种基于上下文的文本生成任务中（如摘要和推理）取得了令人瞩目的成就；然而其在意图驱动的生成任务中的应用仍受到较少关注。其中一种示例是修订生成，这需要生成的文本显式反映作者的实际意图。识别意图并生成理想的修订由于其复杂多样性而具有挑战性。尽管先前的工作已利用LLMs进行少量学习生成修订，但它们在处理纠缠的多意图情景时仍受限。虽然使用基于意图的指令对LLMs进行微调看似有前景，但这需要大量标注数据，而在修订社区中这些数据昂贵且稀缺。为此，我们提出了Intention-Tuning，一种意图自适应的层级LLM微调框架，该框架动态选择LLM的子集层来学习意图，然后将其表示迁移到修订生成。实验结果表明，Intention-Tuning在小型修订语料库上有效且高效，优于多个PEFT基线。
引用
@article{arxiv.2602.00477,
title = {Intention-Adaptive LLM Fine-Tuning for Text Revision Generation},
author = {Zhexiong Liu and Diane Litman},
journal= {arXiv preprint arXiv:2602.00477},
year = {2026}
}
备注
In the Conference of the European Chapter of the Association for Computational Linguistics (EACL), March 2026