CoinRun：解决目标泛化错误问题
人工智能
2023-11-02 v3
摘要
目标泛化错误是 AI 对齐（即让强大的人工智能使其目标与人类意图及人类道德相一致）中的一项关键挑战。在本文中，我们展示了 ACE（概念外推算法，Algorithm for Concept Extrapolation）智能体如何能够解决目标泛化错误中的一个关键标准挑战：CoinRun 挑战。它在新环境中未使用任何新的奖励信息。这表明自主智能体即便在新颖且关键的情境中，也有可能被信任为人类利益而行动。
引用
@article{arxiv.2309.16166,
title = {CoinRun: Solving Goal Misgeneralisation},
author = {Stuart Armstrong and Alexandre Maranhão and Oliver Daniels-Koch and Patrick Leask and Rebecca Gorman},
journal= {arXiv preprint arXiv:2309.16166},
year = {2023}
}