中文

代谌认知应成为有界且有效自我治理生成式 AI 的科学框架

神经元与认知 2026-05-26 v1 人工智能 计算机与社会 人机交互 系统与控制 系统与控制

摘要

生成式 AI 研究日益面临共同问题:系统必须在不确定性高、证据缺失或情境不足时,维持并治理其自身的生成活动。本立场论文认为,代谢认知应成为有界且有效自我治理生成式 AI 的科学框架,在此框架下,输出的生成应被恰当地评估,并评估生成系统导航和调节自身活动的能力。我们通过展示有界且有效的 AI 自我治理需要跨计算、算法和生态层面的代谢认知对齐来推进这一立场。在计算层面,代谢认知指定系统应服从的元级功能,例如监控、评估、控制和适应。在算法层面,这些功能通过诱发、迭代和模块化等程序实现。在生态层面,代谢认知信号在接口、工作流程和问责安排中变得有意义、可操作且可解释。因此,代谢认知使得我们能够将生成式 AI 概念为既有能力又受到良好治理,而不是将能力与治理视为相互竞争的目标。

关键词

引用

@article{arxiv.2605.23981,
  title  = {Metacognition Should Be the Scientific Framework for Bounded and Effective Self-Governance in Generative AI},
  author = {Eugene Yu Ji and Igor Grossmann and Amir-Hossein Karimi},
  journal= {arXiv preprint arXiv:2605.23981},
  year   = {2026}
}

备注

16 pages, 1 figure, 1 table