G2L：一种用于生成提升迁移学习性能的伪标签的几何方法
机器学习
2022-07-11 v1 人工智能
摘要
迁移学习是一种深度学习技术，可缓解在人工标注标签昂贵且有限情况下的学习问题。它不使用此类标签，而是将精心挑选的源模型上先前训练得到的权重作为新目标数据集基模型训练的初始权重。我们展示了一种新颖但通用的自动创建此类源模型的技术。我们根据基于高维几何经典结论（Cayley-Menger 行列式）的高效且可扩展算法生成伪标签。该 G2L（“几何到标签”）方法利用超体积内容的贪心计算逐步构建伪标签。我们证明该方法在预期精度方面可调，而精度可由源与目标间数据集相似性（散度）的信息论度量来预测。280 次实验的结果表明，该机械式技术生成的基模型，其可迁移性与在大量人工标注的 ImageNet1K 标签上训练的基线模型相当或更好，总体误差降低 0.43%，且在所测试的 5 个差异数据集中有 4 个误差下降。
引用
@article{arxiv.2207.03554,
title = {G2L: A Geometric Approach for Generating Pseudo-labels that Improve Transfer Learning},
author = {John R. Kender and Bishwaranjan Bhattacharjee and Parijat Dube and Brian Belgodere},
journal= {arXiv preprint arXiv:2207.03554},
year = {2022}
}
备注
21 pages, 6 figures