上下文对齐：微调前与原始语言模型对话
计算与语言
2023-08-09 v1 人工智能
机器学习
摘要
在本札记中，我们通过上下文学习探索推理时对齐。我们考虑一个未经任何微调的原始预训练语言模型 Llama-2，并在模型被提示遵循对话式指令时检索平均 9 个示范性对齐样本。与直接提示相比，不改变模型权重的上下文对齐使相对于 OpenAI 的 text-davinci-003 模型的胜率提高了 7 倍，使得原始语言模型可与经过对齐微调的强基线相媲美。
引用
@article{arxiv.2308.04275,
title = {In-Context Alignment: Chat with Vanilla Language Models Before Fine-Tuning},
author = {Xiaochuang Han},
journal= {arXiv preprint arXiv:2308.04275},
year = {2023}
}