基于三元组关联的样本重加权以增强小规模数据集扩展

计算机视觉模型在某些真实场景中，如医学诊断，往往受限于可用图像的稀缺。使用预训练的生成模型扩展数据集是有效解决方案。然而，由于生成过程不可控且自然语言模糊，可能生成噪声图像。通过对此类噪声图像分配低权重来进行重加权是有效方法。我们首先理论分析了生成图像的三种监督类型。基于理论分析，我们开发了TriReWeight，这是一种基于三元组关联的样本重加权方法，用于增强生成数据增强。理论上，TriReWeight可以与任何生成数据增强方法集成，永远不会降低其性能。此外，其泛化性能以 $O(\sqrt{d\ln (n)/n})$ 的阶梯式趋近于最优。我们的实验验证了理论分析的正确性，并表明本方法在六个自然图像数据集上平均优于现有 SOTA 方法提高了 $7.9\%$，在三个医疗数据集上平均提高了 $3.4\%$。我们还实验性地验证了本方法能够提升不同生成数据增强方法的性能。