SPICA：面向多元语境对齐的场景检索
计算与语言
2025-09-26 v2
摘要
当不同群体的价值观存在差异时，一种模型对齐方法是在推理时将模型引导至每个群体的偏好。然而，诸如语境学习等技术在抽取少样本示例时仅考虑相似性，而忽略了群体间的价值观差异。我们提出 SPICA，一个在语境示例检索过程中考虑群体层面差异的框架。SPICA 引入了三种设计：场景库、群体知情检索指标和语境对齐提示。通过在一项收集了来自四个人口群体（）输入的对齐任务上对 SPICA 进行评估，我们的指标检索到的语境示例更贴近观察到的偏好，其中最佳提示配置使用多个对比响应来展示示例。在一项端到端评估（）中，我们观察到 SPICA 的评分高于基于相似性的检索，各群体在 5 分制量表上最高提升了 +0.16 分。此外，SPICA 带来的增益更为均匀，所有群体都从对齐中受益，而非仅部分群体。最后，我们发现，虽然群体无关的方法可以对聚合的价值观进行对齐，但它并不最适合存在分歧的群体。
引用
@article{arxiv.2411.10912,
title = {SPICA: Retrieving Scenarios for Pluralistic In-Context Alignment},
author = {Quan Ze Chen and K. J. Kevin Feng and Chan Young Park and Amy X. Zhang},
journal= {arXiv preprint arXiv:2411.10912},
year = {2025}
}