通过端到端偏移学习减少偏差：在公民科学中的应用
机器学习
2018-11-15 v4 人工智能
机器学习
摘要
公民科学项目成功地为各种应用收集了丰富的数据集。然而，公民科学家收集的数据往往存在偏差——特别是与公民的偏好而非科学目标更为一致。我们提出偏移补偿网络（Shift Compensation Network, SCN），一种端到端学习方案，它学习从科学目标到有偏数据的偏移，同时通过重新加权训练数据来补偿该偏移。应用于公民科学项目 eBird 的鸟类观测数据，我们展示了 SCN 如何量化数据分布偏移，并优于未处理数据偏差的监督学习模型。在协变量偏移（covariate shift）背景下与竞争模型相比，我们进一步展示了 SCN 在有效性和处理大规模高维数据能力两方面的优势。
引用
@article{arxiv.1811.00458,
title = {Bias Reduction via End-to-End Shift Learning: Application to Citizen Science},
author = {Di Chen and Carla P. Gomes},
journal= {arXiv preprint arXiv:1811.00458},
year = {2018}
}