热身生成：基于无监督初始状态生成的序列到序列学习任务无关引导方法
计算与语言
2025-02-19 v1 人工智能
摘要
传统的序列到序列任务监督微调(SFT)策略通常直接训练模型生成目标输出。近期研究表明，通过引入中间步骤（如关键词、提纲或推理链）可显著提升性能、连贯性和可解释性。然而，这些方法常依赖预定义的中间格式和标注数据，限制了其可扩展性和通用性。本文引入一种任务无关的框架，使模型能够生成中间“热身”序列。这些热身序列作为后续生成的初始状态，通过优化其生成目标序列的概率来提升效果，而无需依赖外部监督或人类设计的结构。drawing inspiration from reinforcement learning principles, our method iteratively refines these intermediate steps to maximize their contribution to the final output, similar to reward-driven optimization in reinforcement learning with human feedback. 在翻译、摘要和多选逻辑推理问答等任务上的实验结果表明，我们的方法优于传统SFT方法，并提供了一个可扩展且灵活的序列到序列任务解决方案。
引用
@article{arxiv.2502.12304,
title = {Warmup Generations: A Task-Agnostic Approach for Guiding Sequence-to-Sequence Learning with Unsupervised Initial State Generation},
author = {Senyu Li and Zipeng Sun and Jiayi Wang and Xue Liu and Pontus Stenetorp and Siva Reddy and David Ifeoluwa Adelani},
journal= {arXiv preprint arXiv:2502.12304},
year = {2025}
}