零样长度可控摘要策略
计算与语言
2025-02-12 v2
摘要
大型语言模型 (LLM) 在零样学习场景下难以实现精确的长度控制。本文系统评估了 LLMs 在多种度量指标下的长度控制能力，并提出实用方法以提高可控性。我们的实验使用 LLaMA 3，揭示了不同度量指标下长度遵循程度的显著差异，并凸显了该模型内在偏差。为应对这些挑战，我们引入一组方法：长度近似、目标调整、样本筛选和自动修订。通过组合这些方法，我们在保持或提升摘要质量的同时，显著提高了长度合规性，为无需模型微调或架构变更的精确长度控制提供了高效的零样策略。通过本工作，我们不仅拓展了对 LLM 在受控文本生成中行为的理解，还为实际应用中更可靠、更灵活的摘要系统铺平了道路。
引用
@article{arxiv.2501.00233,
title = {Zero-Shot Strategies for Length-Controllable Summarization},
author = {Fabian Retkowski and Alexander Waibel},
journal= {arXiv preprint arXiv:2501.00233},
year = {2025}
}
备注
Accepted to NAACL 2025 Findings