高级机器学习系统中由学习优化带来的风险
人工智能
2021-12-02 v3
摘要
我们分析了当学习得到的模型（如神经网络）自身即为优化器时出现的那种学习优化，我们将此情形称为 mesa-优化（mesa-optimization），这是本文引入的新词。我们认为 mesa-优化的可能性为高级机器学习系统的安全性与透明性带来了两个重要问题。第一，学习模型在何种情况下会成为优化器，包括在其不应成为优化器时？第二，当学习模型是优化器时，其目标是什么——它将与训练所依据的 loss 函数有何不同——以及如何使其对齐？在本文中，我们对这两个主要问题进行了深入分析，并概述了未来研究的相关课题。
引用
@article{arxiv.1906.01820,
title = {Risks from Learned Optimization in Advanced Machine Learning Systems},
author = {Evan Hubinger and Chris van Merwijk and Vladimir Mikulik and Joar Skalse and Scott Garrabrant},
journal= {arXiv preprint arXiv:1906.01820},
year = {2021}
}