中文

论数百篇评估图表示论文中不切实际预测的使用

机器学习 2021-12-14 v3 人工智能

摘要

在机器学习中,使用真实标签进行预测听起来像是一个矛盾修辞。然而,这种不切实际的设置却在寻找图表示这一领域的数百篇(甚至数千篇)论文中被使用。为了评估使用所获表示进行节点分类的多标签问题,许多工作在预测阶段假设每个测试实例的标签数量是已知的。在实践中,这种真实标签信息很少可用,但我们指出,这种不恰当的设置如今在该研究领域无处不在。我们详细调查了这种情况发生的原因。我们的分析表明,利用不切实际的信息,性能很可能被高估。为了理解为何未使用合适的预测方法,我们识别了应用某些多标签技术的困难。为了在未来的研究中使用,我们提出了简单且有效的设置,而不使用实践中未知的信息。最后,我们借此机会对主要的图表示学习方法在多标签节点分类上进行了一次公平且严肃的比较。

关键词

引用

@article{arxiv.2112.04274,
  title  = {On the Use of Unrealistic Predictions in Hundreds of Papers Evaluating Graph Representations},
  author = {Li-Chung Lin and Cheng-Hung Liu and Chih-Ming Chen and Kai-Chin Hsu and I-Feng Wu and Ming-Feng Tsai and Chih-Jen Lin},
  journal= {arXiv preprint arXiv:2112.04274},
  year   = {2021}
}

备注

Accepted by AAAI 2022