通过模型编辑改进数据高效的化石分割

大多数计算机视觉研究聚焦于包含数千张常见物体图像的数据集。然而，许多高影响力数据集（如医学和地球科学领域的数据集）包含细粒度物体，需领域专家知识才能识别，且采集与标注耗时。因此，这些数据集标注图像很少，当前机器视觉模型无法在其上充分训练。模型编辑技术最初用于修正大语言模型，已被证明仅用少量数据和额外训练即可提升模型性能。我们利用 Mask R-CNN 在岩石样本图像中分割古代礁体化石，提出一种两阶段范式以在少量标注图像下改进化石分割：首先使用图像扰动识别模型弱点，随后通过模型编辑缓解这些弱点。具体而言，我们施加领域知情的图像扰动，以暴露 Mask R-CNN 区分不同化石类别的能力不足及其分割不同纹理化石的不一致性。为解决这些缺陷，我们将一种已有的用于修正图像分类中系统性错误的模型编辑方法扩展到图像分割，无需额外标注数据，并展示了其在减少不同化石种类间混淆上的有效性。我们还强调了本情形下模型编辑的最佳设置：使用单张图像中所有相关像素进行一次编辑（而非多图、多次编辑或更少像素）。尽管我们关注化石分割，该方法或可用于其他数据受限的类似细粒度分割问题。