从非结构化文本中实现价值对齐
计算与语言
2024-08-21 v1 机器学习
摘要
将大型语言模型(LLM)对齐到价值体系已成为AI和NLP领域的重要研究方向。当前，这一对齐过程依赖于高质量的监督数据和偏好数据，这些数据往往需要大量时间和成本来收集或标注。在本文中，我们提出一种系统性的端到端方法，用于对齐LLM以适应非结构化文本中所代表的隐式和显式价值。我们的方法利用可扩展的合成数据生成技术，有效地将模型对齐到非结构化数据中所包含的价值。通过两个不同的应用场景，我们在Mistral-7B-Instruct模型上展示了该方法的高效性。我们的方法可信地将LLM对齐到文档中所嵌入的价值，并在自动指标和赢家比率方面显示出对比其他方法的改进性能。
引用
@article{arxiv.2408.10392,
title = {Value Alignment from Unstructured Text},
author = {Inkit Padhi and Karthikeyan Natesan Ramamurthy and Prasanna Sattigeri and Manish Nagireddy and Pierre Dognin and Kush R. Varshney},
journal= {arXiv preprint arXiv:2408.10392},
year = {2024}
}