三思而行：从文本编辑中学习重新对齐人类价值观
计算与语言
2023-01-06 v2 人工智能
计算机与社会
摘要
我们提出Second Thought，一种使语言模型（LMs）能够重新对齐人类价值观的新学习范式。通过对齐价值观不对齐与对齐的文本之间的编辑链进行建模，结合LM微调与通过强化学习的额外精炼，Second Thought不仅在三个价值观对齐基准数据集上取得优越性能，还在少样本场景中展现出强大的人类价值观迁移学习能力。生成的编辑步骤还提供了更好的可解释性，并便于交互式错误纠正。广泛的人类评估进一步确认了其有效性。
引用
@article{arxiv.2301.00355,
title = {Second Thoughts are Best: Learning to Re-Align With Human Values from Text Edits},
author = {Ruibo Liu and Chenyan Jia and Ge Zhang and Ziyu Zhuang and Tony X Liu and Soroush Vosoughi},
journal= {arXiv preprint arXiv:2301.00355},
year = {2023}
}
备注
In proceedings of the 36th Conference on Neural Information Processing Systems (NeurIPS 2022)