射频无人机基准测试高估了多少?UAV信号识别中数据泄漏的受控研究与理论
应用物理
2026-07-01 v1 机器学习
摘要
射频(RF)感知是反无人机系统(counter-UAS)防御的核心手段,因为它利用了无人机与其操作员之间的控制、遥测和视频链路。基于RF的无人机检测和识别的报告准确率通常非常高,但许多是通过交叉验证获得的,该交叉验证将少量连续记录分割成短片段。这可能会将同一记录的近乎重复的切片同时放入训练和测试分区,造成数据泄漏。我们通过理论和测量研究这个泄漏问题。我们形式化了片段级交叉验证的乐观性,并使用Cover的功能计数定理证明,当独立记录的数量R相对于特征维度d较小时,分类器可以精确记忆记录到标签的映射。特别是,当2R小于或约等于d时,这种情况可能发生。在这些条件下,朴素准确率接近1,膨胀差距接近1 - ACC*,其中ACC*是贝叶斯准确率。只有当R增长超过这个可分性阈值时,膨胀才会缓解。一个包含10个种子的受控合成实验证实了预测曲线:随着记录特定的干扰变化增长,朴素平衡准确率从贝叶斯水平上升到1.0,而诚实的记录分组评估下降到随机水平,差距达到约0.5。在公开的DroneRF数据集上,合并的留一记录交叉验证显示,无人机类型识别(AR与Bebop)从朴素的宏F1值0.74下降到0.46,即二类随机水平。泄漏路径消融实验将几乎所有膨胀归因于片段级泄漏。
引用
@article{arxiv.2607.01025,
title = {How Much Do RF Drone Benchmarks Overstate? A Controlled Study and Theory of Data Leakage in UAV Signal Identification},
author = {David Shulman},
journal= {arXiv preprint arXiv:2607.01025},
year = {2026}
}