多模态感知对模仿学习样本复杂度与优化景观的影响分析
机器学习
2025-08-08 v1 机器人学
摘要
本文通过统计学习理论的视角，考察了多模态模仿学习的理论基础。我们分析了多模态感知（RGB-D、本体感知、语言）如何影响模仿策略的样本复杂度和优化景观。基于最近在多模态学习理论方面的进展，我们展示，正确集成的多模态策略相较于单模态方法，可实现更紧凑的泛化界限和更有利的优化景观。我们提供了一套全面的理论框架，解释为何像 PerAct 和 CLIPort 这样的多模态架构实现了优异性能，将这些经验结果与 Rademacher 复杂度、PAC 学习和信息论等基本概念相连接。
引用
@article{arxiv.2508.05077,
title = {Analyzing the Impact of Multimodal Perception on Sample Complexity and Optimization Landscapes in Imitation Learning},
author = {Luai Abuelsamen and Temitope Lukman Adebanjo},
journal= {arXiv preprint arXiv:2508.05077},
year = {2025}
}
备注
9 pages, 1 figure, 1 table, theoretical analysis with empirical validation on PerAct implementation in MuJoCo simulation environment