AI 近期是否变得更负面了
计算与语言
2023-06-30 v3 机器学习
社会与信息网络
摘要
在本文中，我们将自然语言处理（NLP）和机器学习（ML）领域（作为人工智能（AI）的核心子领域）的科学论文分类为：（i）它们是否通过引入超越现有模型的新技术来扩展当前最先进水平（SOTA），或（ii）它们是否主要批评现有最先进水平，即其在某些属性上存在缺陷（例如错误的评估、错误的数据集、误导性的任务设定）。我们将（i）下的贡献称为具有“正面立场”，将（ii）下的贡献称为具有“负面立场”（针对相关工作）。我们标注了来自 NLP 和 ML 的超过 1.5k 篇论文，以训练一个基于 SciBERT 的模型，根据其标题和摘要自动预测论文立场。随后我们分析了过去约 35 年 NLP 和 ML 中超过 41k 篇论文的大规模趋势，发现论文随时间变得显著更正面，但负面论文也变得更负面，且近年来我们观察到相当多的负面论文。负面论文在所获引用方面也更具影响力。
引用
@article{arxiv.2202.13610,
title = {Did AI get more negative recently?},
author = {Dominik Beese and Begüm Altunbaş and Görkem Güzeler and Steffen Eger},
journal= {arXiv preprint arXiv:2202.13610},
year = {2023}
}
备注
major revision, (extended) journal version with limitations section