算法权衡、应用自然语言处理与最佳实践谬误

计算社会学正日益受到关注，但所采用的分析工具在力量、透明度和可解释性方差异很大。在计算机科学中，方法在超过预测准确度基准后便备受推崇，成为“最先进”(state-of-the-art)。计算机科学家更青睐新颖与创新，但将技术声誉置于方法匹配度之上，可能无意中限制社会学探究的范围。为说明此点，我们聚焦于计算文本分析，重审一项大学录取文书研究，比较了旧方法与新方法的分析结果。这些方法在灵活性和不透明度上存在差异，使我们能够在不同方法论范式之间进行比较。我们发现，新技术在实质性方面未超过先前结果。我们也发现，使用当前最先进的技术——生成式 AI 和大语言模型——可能引入难以剥离的偏差和混杂因素。因此，我们主张，社会学探究受益于方法论多样性，这需要将分析选择与理论和实证问题相匹配。虽然我们以社会学视角阐述，但其他学科的学者可能面临我们所称的“最先进谬误”：即认为计算机科学家认为最佳的工具能够适用于各种主题、领域和问题。