苏格拉底式预训练：面向可控摘要的问题驱动预训练

在长文档可控摘要中，由于标注数据稀缺，预训练模型难以适应任务并有效响应用户查询。在本文中，我们引入了苏格拉底式预训练，这是一种问题驱动的无监督预训练目标，专门设计用于提高摘要任务的可控性。通过训练模型在给定上下文中生成并回答相关问题，苏格拉底式预训练使模型能够更有效地遵循用户提供的查询并识别待摘要的相关内容。我们通过在两个摘要领域（短篇故事和对话）以及多种控制策略（关键词、问题和事实问答对）上的大量实验证明了该方法的有效性。我们的预训练方法仅依赖于无标签文档和问题生成系统，并且优于使用额外监督数据的预微调方法。此外，我们的结果表明，苏格拉底式预训练将任务特定的标注数据需求减半，对用户提供的查询更加忠实，并在QMSum和SQuALITY上实现了最先进的性能。