小脑启发的残差控制用于故障恢复：从推理时适应到结构性巩固
机器学习
2026-02-10 v1 机器人学
摘要
在真实环境中部署的机器人策略常常遇到训练后故障，而重新训练、探索或系统识别往往不可行。我们引入一种推理时小脑启发的残差控制框架，通过在冻结的强化学习策略上增添在线纠正动作，实现故障恢复，而无需修改基础策略参数。该框架实例化了小脑核心原理，包括通过固定特征扩展实现的高维模式分离、平行微区式残差路径，以及在不同时间尺度上运行的局部误差驱动的可塑性（包含兴奋性和抑制性可及痕迹）。这些机制使我们能够在训练后干扰下实现快速、局部的纠正，同时避免破坏性的全局策略更新。一种保守且以性能为导向的元适应调节残差权威和可塑性，保留正常行为并抑制不必要的干预。在MuJoCo基准测试中进行实验，受actuator、dynamic和environmental扰动的影响，显示出在中等故障下对\texttt{HalfCheetah-v5}提升最高可达\texttt{+66\%}，对\texttt{Humanoid-v5}提升\texttt{+53\%}，在严重偏移下表现出优雅的退化，并通过将持续的残差纠正巩固到策略参数中实现额外鲁棒性。
引用
@article{arxiv.2602.07227,
title = {Cerebellar-Inspired Residual Control for Fault Recovery: From Inference-Time Adaptation to Structural Consolidation},
author = {Nethmi Jayasinghe and Diana Gontero and Spencer T. Brown and Vinod K. Sangwan and Mark C. Hersam and Amit Ranjan Trivedi},
journal= {arXiv preprint arXiv:2602.07227},
year = {2026}
}