AI 对齐需要理解数据如何塑造结构与泛化 —— 你就是你吃的东西
机器学习
2025-02-11 v1
摘要
在本位论文中，我们认为，理解数据分布中的结构与训练模型中结构之间的关系是 AI 对齐的核心。首先，我们讨论了两个神经网络在训练集上表现等效，但计算方式本质不同，从而泛化方式也不同的问题。出于此原因，标准的测试和评估方法对于获取广泛部署的通用智能系统的安全性保证是不够的。我们认为，要超越评估，发展一门稳健的数学科学来实现 AI 对齐，需要发展统计基础，以理解数据分布中的结构、模型中的内部结构，以及这些结构如何支撑泛化。
引用
@article{arxiv.2502.05475,
title = {You Are What You Eat -- AI Alignment Requires Understanding How Data Shapes Structure and Generalisation},
author = {Simon Pepin Lehalleur and Jesse Hoogland and Matthew Farrugia-Roberts and Susan Wei and Alexander Gietelink Oldenziel and George Wang and Liam Carroll and Daniel Murfet},
journal= {arXiv preprint arXiv:2502.05475},
year = {2025}
}