用于可靠机器人监测果实异常的自监督表示学习

数据增强可成为自主机器人充分利用可用数据、自监督识别非典型场景或物体的简单而有力的工具。最先进的增强方法任意地在典型图像上嵌入“结构”特异性，使得对这些人工产物的分类可为学习用于检测异常视觉信号的表示提供引导。然而在本文中，我们主张对此类结构敏感表示的学习，对于某些异常类别（如不健康果实）而言可能是次优方案，这类异常或可由“颜色”等不同类型的视觉要素更好地识别。我们因而提出通道随机化（Channel Randomisation）作为一种新颖的数据增强方法，用于在预测通道随机化图像时限制神经网络学习“颜色不规则性”的编码，最终构建可识别非典型果实品质的可靠果实监测机器人。我们的实验表明：（1）这种基于颜色的替代方案能更好地学习表示，以在各种果树物种中持续准确地识别果实异常；且（2）与其他方法不同，由于自监督颜色区分任务的表现与实际异常果实后续检测率间呈正相关，验证准确率在实践中可用作训练早停的判据。此外，所提方法在一个新的农业数据集 Riseholme-2021 上进行了评估，该集由移动机器人采集的 3.5K 张草莓图像组成，我们已在线共享以鼓励活跃的农业机器人研究。