面向先进人工智能的产业政策：算力定价与安全税

在一个智能体竞相开发潜在危险新技术（AI）的模型中，我们研究生产要素（计算资源）定价的变化如何影响智能体的策略，特别是其用于降低新技术危险的安全支出。在模型中，智能体将支出分配于安全与性能之间，其中安全决定“灾难”结果的概率，性能决定智能体相对于同行的竞争力。对于给定的参数设定，我们通过数值计算纳什均衡来确定理论上的最优支出策略。使用该方法，我们发现：（1）在对称情形下，算力价格上涨促进安全当且仅当性能的生产比安全的生产规模增长更快；（2）通过向单一智能体提供足够大的补贴，可使灾难概率任意小；（3）当智能体生产率不同时，向生产率更高的智能体提供补贴通常比对其他智能体提供相同补贴更有利于总体安全（存在一些限定条件，我们对此进行了讨论）；（4）当某智能体相对于竞争者更为重视安全（即认为安全更难实现）时，补贴该智能体通常比补贴其竞争者更有利于总体安全；然而，补贴仅稍微更重视安全的智能体往往会降低安全。因此，尽管直觉表明补贴高度重视安全或高生产率的智能体常能改善安全，但补贴稍微更重视安全或稍微更高生产率的智能体常常是有害的。