面向小规模数据集的对抗拉格朗日集成对比嵌入方法
计算机视觉与模式识别
2022-10-10 v1
摘要
某些数据集包含数量有限但风格高度多样且结构复杂的样本。本研究提出了一种面向小样本数据集的新颖对抗拉格朗日集成对比嵌入（ALICE）方法。首先，我们在多个少样本数据集子集上展示了所提出的预训练对抗迁移在精度提升与训练收敛方面的表现。其次，研究了一种利用多种数据增强技术的新型对抗集成对比模型。所提出的结构考虑具有不同外观的输入样本，并通过对抗迁移对比训练生成更优的表示。最后，多目标增广拉格朗日乘子促使所提出的对抗对比嵌入具有低秩与稀疏性，从而自适应地将正则化项的系数估计至最优权重。稀疏性约束抑制特征空间中代表性较弱的元素。低秩约束消除平凡与冗余分量并带来更优的泛化能力。所提模型的性能通过使用基准数据集在少样本场景下开展消融实验得以验证。
引用
@article{arxiv.2210.03261,
title = {Adversarial Lagrangian Integrated Contrastive Embedding for Limited Size Datasets},
author = {Amin Jalali and Minho Lee},
journal= {arXiv preprint arXiv:2210.03261},
year = {2022}
}
备注
Submitted to Neural Networks Journal: 36 pages, 6 figures