不确定性推理陷阱：一种结构性AI风险

本报告考察了与当前（和预计的）AI工具相关的一种新型风险。对未来行动做出有效决策要求我们在不确定性下进行推理（RUU），这对于许多关键的现实世界问题至关重要。面对这一挑战，对像LLM这样的AI工具来辅助决策者的需求日益增长。在证明了这种需求及其背后的激励之后，我们揭示了一种日益增长的风险：1）我们目前对LLM在这方面的能力理解不足，2）由于基本的计算爆炸性和深度不确定性对准确性的约束，性能无法得到保证。本报告阐述了为什么RUU对人类和机器都如此具有挑战性，并将这些困难与预期的AI时间线和能力联系起来。在确立了这种当前的潜在滥用风险之后，我们进一步揭示了这种看似可加的风险（更多的滥用可加地导致潜在危害）实际上具有乘法特性。具体来说，我们详细说明了这种滥用风险如何与更广泛的结构性风险网络（例如，激励转移、有限透明度和反馈循环）相联系，从而产生非线性危害。我们随后提供了一个解决方案路线图，针对问题的多个杠杆点。这包括对所有相关参与者（潜在用户、开发者和政策制定者）的建议，并融入了来自深度不确定性下的决策和复杂系统理论等领域的见解。我们认为，本报告不仅有助于提高对当前一种新型AI风险的认识（并随后减轻/纠正），而且通过说明结构性风险的相互关联性质如何构成双重危险——掩盖其存在的同时放大其潜在影响——来提高对底层结构性风险类别的认识。