通过 Trial-Error-Explain 零样本个性化对齐
计算与语言
2025-04-08 v3 人工智能
摘要
语言模型对众多声音的对齐，导致输出通用化，无法符合特定用户的风格。在本工作中，我们提出 Trial-Error-Explain 零样本学习（TICL），一种用于少于 10 个示例即可为用户个性化语言模型的文本生成任务的方法。TICL 通过试错-解释过程迭代扩充零样本学习提示，添加模型生成的负面样本和解释，提供针对特定用户风格的细粒度指导。TICL 在与 LLM 评判器进行成对比较中，以最高达 91.5% 的优势战胜前一最先进方法，并在写作邮件、 essays 和新闻文章等个性化对齐任务中超越具有竞争力的零样本基线。词汇和质量分析表明，负面样本和解释使语言模型更有效地学习风格背景，克服其零样本输出中对结构和正式短语的偏好。通过前置推理计算创建无需额外生成步骤即可用于测试的用户特定零样本学习提示，TICL 提出了一种新颖而简单的方法，用于个性化对齐。
引用
@article{arxiv.2502.08972,
title = {Tuning-Free Personalized Alignment via Trial-Error-Explain In-Context Learning},
author = {Hyundong Cho and Karishma Sharma and Nicolaas Jedema and Leonardo F. R. Ribeiro and Alessandro Moschitti and Ravi Krishnan and Jonathan May},
journal= {arXiv preprint arXiv:2502.08972},
year = {2025}
}
备注
NAACL 2025 Findings