使用CIC IoT 2022数据集对IoTDevID设备识别方法的外部验证

在物联网设备快速扩散的时代，识别、诊断和保护这些设备是关键任务。IoTDevID方法（IEEE Internet of Things 2022）提出了一种利用网络数据包特征进行设备识别的机器学习方法。本文通过对该方法核心组件（即其特征集与聚合算法）在新数据集上的测试，给出IoTDevID方法的验证研究。新数据集（CIC-IoT-2022）相较早期数据集具有若干优势，包括更多设备数量、同一设备的多个实例、IP与非IP设备数据、正常（良性）使用数据，以及活跃与空闲等多样使用轮廓。利用该独立数据集，我们探究了IoTDevID核心组件的有效性，并考察了新数据对模型性能的影响。结果表明数据多样性对模型性能十分重要：例如，用活跃使用数据训练的模型优于用空闲使用数据训练的模型，而多种使用数据同样提升了性能。IoTDevID结果强劲，在31个仅IP设备类别上取得92.50的F1分数，与此前数据集上的结果相近。所有情况下，IoTDevID聚合算法均提升了模型性能。对于非IP设备，我们在40个设备类别上取得78.80的F1分数，尽管数据量少得多，也证实了数据量对模型性能同样重要。