结构集成的自我监测优势：来自连续时间多尺度代理的元认知经验

自我监测能力——元认知、自我预测和主观持续时间——常被提议作为强化学习代理的有用添加功能。但它们实际上会有帮助吗？我们在捕食者-猎物生存环境中测试了这个问题，其中包括一个2D部分可观测的变体。我们首先展示了三个自我监测模块（作为多尺度皮层层级的辅助损失添加器）在20个随机种子、1D和2D捕食者-猎物环境中（包括标准和非平稳变体）以及最长50,000步的训练期间，没有显著统计性好处。诊断失败原因，我们发现这些模块会趋于接近恒定输出（置信度标准差<0.006，注意力分配标准差<0.011），主观持续时间机制将折扣因子偏移不到0.03%。策略敏感性分析确认，智能体的决策在本设计下不受模块输出的影响。随后，我们表明结构性地集成模块输出——使用置信度控制探索、惊讶触发工作空间广播、以及自模型预测作为策略输入——在非平稳环境中相对于添加器方法实现了中等偏大幅度的改进（Cohen's d = 0.62，p = 0.06，配对） 。但结构集成显著超过没有自我监测的基线（d = 0.15，p = 0.67），且参数匹配的控制（无模块）表现相当，因此获益可能在于从被忽视的模块的趋势水平损害中恢复，而非来自自我监测本身的内容。架构上的含义是，自我监测应位于决策路径上，而非旁边。