利用时间不可逆性与顺序对比预训练
机器学习
2022-03-30 v2
摘要
医疗保健等标签稀缺、高维度的领域对现代机器学习技术构成了挑战。为了克服有标签数据缺乏带来的困难，我们探索了一种用于纵向数据的“顺序对比”自监督预训练方法。我们采样时间片段对，将其中一半的顺序颠倒，并训练模型预测给定的一对是否处于正确顺序。直观地说，排序任务使模型能够关注最不可逆的时间特征（例如，指示慢性疾病进展的特征）。这些相同的特征通常对感兴趣的下游任务很有用。为了对此进行量化，我们研究了一个简单的理论设定，在其中我们证明了使用顺序对比预训练学习到的表示的下游误差的有限样本保证。在实验上，在合成和纵向医疗保健环境中，我们证明了在小数据机制下，顺序对比预训练相对于监督学习和其他自监督预训练基线的有效性。我们的结果表明，为特定类别的分布和下游任务设计的预训练方法可以提高自监督学习的性能。
引用
@article{arxiv.2111.02599,
title = {Leveraging Time Irreversibility with Order-Contrastive Pre-training},
author = {Monica Agrawal and Hunter Lang and Michael Offin and Lior Gazit and David Sontag},
journal= {arXiv preprint arXiv:2111.02599},
year = {2022}
}