自适应机器学习方法中基于粒子滤波的状态估计：将Q学习和NEAT算法与含噪雷达测量相结合
机器学习
2025-04-11 v1 最优化与控制
摘要
可靠的状态估计对于在复杂、嘈杂环境中运行的自主系统至关重要。经典滤波方法（如卡尔曼滤波）在面对非线性动力学或非高斯噪声时可能难以应对，而更灵活的粒子滤波在大规模领域中常遇到样本退化或高计算成本的问题。同时，自适应机器学习技术（包括Q学习和神经进化算法如NEAT）严重依赖准确的状态反馈来指导学习；当传感器数据不完美时，这些方法会遭受收敛退化和次优性能。本文提出一个集成框架，将粒子滤波与Q学习和NEAT统一起来，明确解决含噪测量带来的挑战。通过将基于雷达的观测精炼为可靠的状态估计，我们的粒子滤波驱动更稳定的策略更新（在Q学习中）或控制器进化（在NEAT中），使得强化学习和神经进化都能更快收敛，获得更高的回报或适应度，并对传感器不确定性表现出更强的鲁棒性。在基于网格的导航和模拟汽车环境上的实验表明，与缺乏高级滤波的基线相比，训练稳定性、最终性能和成功率均有持续提升。总之，这些发现强调准确的状态估计不仅是预处理步骤，而且是能够显著增强在受传感器噪声困扰的实际应用中自适应机器学习的关键组成部分。
引用
@article{arxiv.2504.07393,
title = {State Estimation Using Particle Filtering in Adaptive Machine Learning Methods: Integrating Q-Learning and NEAT Algorithms with Noisy Radar Measurements},
author = {Wonjin Song and Feng Bao},
journal= {arXiv preprint arXiv:2504.07393},
year = {2025}
}