StyleRec：用于风格转换中提示恢复的基准数据集
计算与语言
2025-04-08 v1 人工智能
机器学习
摘要
随着大型语言模型(LLM)的普及，重建LLM输出的提示(即从LLM的输出中恢复提示)日益重要。由于用户主要通过API访问LLM而无法获取内部模型权重，只能依赖输出和logits，这使得提示恢复复杂化。本文探讨了一个独特的提示恢复任务，聚焦于重建风格转换和改写的提示，而非典型的问答任务。我们引入了一个由LLM辅助创建的数据集，通过多种技术确保质量，并测试了零-shot、few-shot、jailbreak、链式思维、微调以及一种用于差异化情况的新型标准化提示后备方案。我们的结果表明，一shot和微调获得最佳效果，但也指出了用于评估提示恢复的传统句子相似度指标存在缺陷。我们的贡献包括(1)一个基准数据集、(2)对提示恢复策略的全面实验、(3)识别了当前评估指标的局限性，这些都推动了一般性提示恢复研究的进展，其中输入提示的结构是不受限制的。
引用
@article{arxiv.2504.04373,
title = {StyleRec: A Benchmark Dataset for Prompt Recovery in Writing Style Transformation},
author = {Shenyang Liu and Yang Gao and Shaoyan Zhai and Liqiang Wang},
journal= {arXiv preprint arXiv:2504.04373},
year = {2025}
}
备注
2024 IEEE International Conference on Big Data (BigData)