面向学习型关键点检测与姿态估计方法的鲁棒性认证

本工作致力于解决面向视觉基的两阶段6D物体姿态估计的局部鲁棒性认证问题。该两阶段姿态估计方法通过首先采用深度神经网络驱动的关键点回归，然后应用基于透视点法(PnP)的技术，实现了卓越的精度。尽管取得了进展，但这些方法的鲁棒性认证仍稀少。本研究旨在填补这一空白，聚焦于其在系统层面的局部鲁棒性——即在语义输入扰动下保持稳健估计的能力。核心思想是将局部鲁棒性认证转化为分类任务的神经网络验证。挑战在于开发与现有验证工具一致的模型、输入和输出规范。为便于验证，我们通过替换非线性运算为更易于验证过程的运算来修改关键点检测模型。与常见做法不同，我们采用图像的凸包表示作为输入规范，以更准确地描绘语义扰动。此外，通过进行灵敏度分析，我们从姿态鲁棒性传播到关键点精度，然后制定一个最优的误差阈值分配问题，以允许设置最大可接受的关键点偏差阈值。将每个像素视为一个独立类别，这些阈值导致线性的、类似分类的输出规范。在某些条件下，我们证明了本认证框架的主要组件是严谨且完备的，并通过对现实扰动的广泛评估验证了其效果。据我们了解，这是首个在真实场景下对大规模基于关键点的姿态估计进行鲁棒性认证的研究。