代谌认知应成为有界且有效自我治理生成式 AI 的科学框架
神经元与认知
2026-05-26 v1 人工智能
计算机与社会
人机交互
系统与控制
系统与控制
摘要
生成式 AI 研究日益面临共同问题:系统必须在不确定性高、证据缺失或情境不足时,维持并治理其自身的生成活动。本立场论文认为,代谢认知应成为有界且有效自我治理生成式 AI 的科学框架,在此框架下,输出的生成应被恰当地评估,并评估生成系统导航和调节自身活动的能力。我们通过展示有界且有效的 AI 自我治理需要跨计算、算法和生态层面的代谢认知对齐来推进这一立场。在计算层面,代谢认知指定系统应服从的元级功能,例如监控、评估、控制和适应。在算法层面,这些功能通过诱发、迭代和模块化等程序实现。在生态层面,代谢认知信号在接口、工作流程和问责安排中变得有意义、可操作且可解释。因此,代谢认知使得我们能够将生成式 AI 概念为既有能力又受到良好治理,而不是将能力与治理视为相互竞争的目标。
引用
@article{arxiv.2605.23981,
title = {Metacognition Should Be the Scientific Framework for Bounded and Effective Self-Governance in Generative AI},
author = {Eugene Yu Ji and Igor Grossmann and Amir-Hossein Karimi},
journal= {arXiv preprint arXiv:2605.23981},
year = {2026}
}
备注
16 pages, 1 figure, 1 table