超越多项选择：评估摘要生成的引导向量
机器学习
2026-05-12 v3 计算与语言
摘要
引导向量是一种轻量级方法，通过在推理时向语言模型激活添加学习到的偏置来控制文本属性。尽管主要在多项选择和玩具任务中进行研究，但它们在自由形式生成中的有效性在很大程度上尚未被探索。超越“多项选择”，我们在 SAMSum、NEWTS 和 arXiv 数据集上评估了引导向量在抽象摘要中对主题焦点、情感、毒性和可读性的控制。我们发现，引导能有效控制目标属性，但高引导强度会持续引发退化重复和事实幻觉。仅使用提示能保持摘要质量，但控制力较弱。结合这两种方法可产生最强的控制力，并在中等引导强度下实现最有利的有效性与质量权衡。我们的工作表明，引导向量在自由形式生成中面临关键的控制与质量权衡，而混合方法在实践中提供了最佳平衡。
引用
@article{arxiv.2505.24859,
title = {Beyond Multiple Choice: Evaluating Steering Vectors for Summarization},
author = {Joschka Braun and Carsten Eickhoff and Seyed Ali Bahrainian},
journal= {arXiv preprint arXiv:2505.24859},
year = {2026}
}
备注
Published in Findings of EACL 2026. Extended version of the ICML 2025 Workshop on Reliable and Responsible Foundation Models paper (v1, v2). 36 pages, 21 figures, 15 tables