基于前缀合并的少样本查询聚焦摘要

查询聚焦摘要一直被视为文本摘要的重要扩展，其目标是为给定查询生成简洁的要点。与文本摘要不同，查询聚焦摘要长期受限于缺乏高质量大规模数据集的问题。在本文中，我们探究能否整合并迁移文本摘要与问答的知识，以辅助查询聚焦摘要中的少样本学习。为此，我们提出前缀合并（prefix-merging），一种用于查询聚焦摘要少样本学习、基于前缀的预训练策略。受前缀微调（prefix-tuning）启发，我们能够将文本摘要与问答的任务知识整合进一个合理设计的前缀中，并将合并后的前缀应用于查询聚焦摘要。仅使用少量可训练参数，前缀合并便在查询聚焦摘要上优于微调。我们进一步探讨了不同前缀设计的影响，并针对前缀合并的作用机制给出了可视化解释。