用于生成式序列标注的监督上下文微调
计算与语言
2025-10-21 v2
摘要
序列标注（SL）任务——其中标签被分配给标记——在自然语言处理中广泛存在（例如命名实体识别和基于方面的情感分析）。由于直觉上它们需要双向上下文，SL 任务通常由仅编码器模型处理。近期研究也表明，在微调中移除因果掩码可以使基于解码器的 LLM 成为有效的标记分类器。然而，较少的工作关注（监督）生成式 SL，这是因果 LLM 更自然的设置。由于其快速扩展，将因果 LLM 应用于 SL 预计将超越发展已停滞的编码器。在这项工作中，我们提出了用于生成式 SL 的监督上下文微调（SIFT）。SIFT 将 SL 任务转化为受约束的响应生成，这对 LLM 而言是自然的，将来自演示的上下文学习（ICL）与监督微调相结合。SIFT 在一系列标准 SL 任务上显著优于 ICL 和解码器即编码器微调基线。我们进一步发现，尽管长上下文会损害生成式 SL 在 ICL 和 SIFT 中的性能，但这一缺陷可以通过移除指令来缓解，因为指令被证明对于通过 SIFT 实现强大的 SL 性能在很大程度上是不必要的。我们的发现强调了 LLM 进行 SL 的优势与局限性，强调了基于响应的生成式任务表述对于有效 SL 性能的重要性。
引用
@article{arxiv.2509.00921,
title = {Supervised In-Context Fine-Tuning for Generative Sequence Labeling},
author = {David Dukić and Goran Glavaš and Jan Šnajder},
journal= {arXiv preprint arXiv:2509.00921},
year = {2025}
}