数据中心 AI 对齐的挑战与未来方向

随着 AI 系统日益强大且具有影响力，确保其与人类价值、偏好和目标的对齐已成为关键研究焦点。当前的对齐方法主要关注设计算法和损失函数，但常常低估了数据在对齐 AI 系统中所发挥的关键作用。本文主张转向数据中心 AI 对齐，强调需提升用于对齐 AI 系统的数据质量和代表性。在本位论文中，我们在数据中心对齐框架下，概述了人类反馈和 AI 反馈所面临的关键挑战。通过定性分析，我们识别出人类反馈中多种不可靠来源，以及时间漂移、情境依赖性以及 AI 反馈因内在模型局限性而难以捕捉人类价值等问题。我们提出未来研究方向，包括改进的反馈收集实践、稳健的数据清洗方法以及严格的反馈验证流程。我们呼吁开展这些关键方向的研究，以弥补当前在理解和改进数据中心对齐实践方面的不足。