赋予自修改AGI系统目标稳定性或受调节目标演化的元目标：通往形式严谨且实用的途径
人工智能
2024-12-24 v1
摘要
我们在此阐述了一系列具体的元目标，以解决创建具备灵活自我修改能力又具备维持其目标系统关键不变属性倾向的AGI系统的挑战。具体而言，1）一系列旨在引导系统达到目标稳定性与相对灵活自我修改兼容的条件的目标稳定性元目标；2）一系列旨在引导系统达到目标演化节奏控制与相对灵活自我修改兼容的条件的受调节目标演化元目标。元目标的构建基于函数分析中的固点定理，例如收缩映射定理和对斯哈德定理的构造性近似，应用于系统行为的概率模型。我们提出，自我修改与维持目标不变量之间的平衡通常会产生其他有趣的认知副作用，如高度的自我理解能力。最后，我们主张在灵活的情境下，将受调节目标演化与追求目标稳定性的混合元目标——以及可能与目标满足、生存和持续发展相关的其他元目标——结合起来具有实际价值。
引用
@article{arxiv.2412.16559,
title = {Metagoals Endowing Self-Modifying AGI Systems with Goal Stability or Moderated Goal Evolution: Toward a Formally Sound and Practical Approach},
author = {Ben Goertzel},
journal= {arXiv preprint arXiv:2412.16559},
year = {2024}
}