语义结构化混合专家用于组合机器人操作

Souvik Ghosh

语义结构化混合专家用于组合机器人操作

机器学习 2026-05-25 v1 无序系统与神经网络材料科学最优化与控制

作者: Souvik Ghosh

摘要

扩散策略已为精确机器人操作建立了新标准，但面临关键可扩展瓶颈：高性能模型计算昂贵，而轻量级替代方案往往难以在多样化的多任务环境中泛化。混合专家 (MoE) 架构提供了一条高效之路，通过仅激活子集参数来实现效率。然而，现有的 MoE 路由机制通常依赖低级噪声或潜在统计信息，忽略了操作任务的组合性。这会导致可重用行为在专家之间碎片化，限制可解释性和可迁移性。我们引入了语义结构化混合专家扩散策略 (SMoDP)，用于组合机器人操作，一种以语义任务结构为基础的专家专业化框架。SMoDP 利用轻量级、推理时的技能预测器，由视觉语言模型 (VLM) 的离线注释监督，以将动作块路由到针对特定行为阶段专门化的专家。为确保可靠分配，我们提出了双对比对齐策略，该策略以语言定义的技能语义为基础实现跨模态观察的对齐，同时在视觉上差异但功能相关的行为之间强制路由一致性。我们的方法在多任务基准测试中超过代表性扩散和 MoE 基线，参数效率显著提高，并通过参数高效微调演示了对新任务的有效组合迁移。项目网址: https://deng-cy20.github.io/SMoDP/

关键词

混合专家机器人操作扩散策略语义路由组合迁移

引用

@article{arxiv.2605.23476,
  title  = {Non-normal spectral signatures of instability in neural network training dynamics},
  author = {Souvik Ghosh},
  journal= {arXiv preprint arXiv:2605.23476},
  year   = {2026}
}

备注

9 pages, 3 figurea

语义结构化混合专家用于组合机器人操作

摘要

关键词

引用

备注

相关论文