开放世界识别中未知类别领域识别的模型评估：一项提议
计算机视觉与模式识别
2023-12-12 v1 人工智能
机器学习
摘要
开放世界识别（OWR）是一个新兴领域，它使机器学习模型能够拒绝未知事物、对其进行管理，并将新样本增量添加到基础知识中。然而，对于执行特定任务的智能体而言，这一宽泛目标并不实际。并非所有被拒绝的样本都将在未来被用于持续学习。开放环境中的某些新图像可能不属于感兴趣的领域。因此，识别感兴趣领域中的未知事物对于机器学习模型仅学习重要样本至关重要。在本研究中，我们提出了一种评估协议，用于估计模型在分离未知域内（ID）和未知域外（OOD）方面的能力。我们使用三种方法在未知领域下进行了评估，并展示了通过传统的迁移学习、自动机器学习（AutoML）以及结合 First Integer Neighbor Clustering Hierarchy（FINCH）的最近类均值（NCM）分类器来识别感兴趣领域的可能性。我们在五个不同领域进行了实验：垃圾、食物、狗、植物和鸟类。结果表明，所有方法均可用作初始基线并产生良好的准确率。此外，来自预训练模型的平衡准确率（BACCU）分数表明其在某个或多个感兴趣领域表现出色的趋势。我们观察到，MobileNetV3 在垃圾领域产生了最高的 BACCU 分数，并超越了诸如 Transformer 网络等复杂模型。同时，我们的结果也表明，预训练模型中的强表示对于识别同一领域中的未知类别非常重要。本研究可以为未知类别相关性至关重要的特定领域任务中的开放世界识别搭建桥梁。
引用
@article{arxiv.2312.05454,
title = {Model Evaluation for Domain Identification of Unknown Classes in Open-World Recognition: A Proposal},
author = {Gusti Ahmad Fanshuri Alfarisy and Owais Ahmed Malik and Ong Wee Hong},
journal= {arXiv preprint arXiv:2312.05454},
year = {2023}
}