人类能否帮助 BERT 获得“置信度”？

过去十年中人工智能的进展为跨学科研究开辟了诸多途径。既然人工智能的构想受大脑神经元工作机制启发，将这两个领域结合并借助认知数据来训练 AI 模型似乎颇为务实。这不仅有助于更深入地理解技术，也有助于理解大脑。在本论文中，我进行了新颖的实验，将来自 Zurich Cognitive Corpus（ZuCo）（Hollenstein 等，2018）的认知特征与一个称为 BERT 的基于 transformer 的编码器模型相整合。我展示了 ZuCo 的 EEG 与眼动追踪特征如何帮助提升该 NLP 模型的性能。我借助一个鲁棒性检验流程确认了性能提升，并推导出一个词-EEG 词典，用于在没有任何相关认知特征的外部数据集上做基准测试。进一步，我分析了 BERT 的内部工作机制，并通过将其与一种流行的模型无关可解释性框架 LIME（Ribeiro 等，2016）相关联，探索了一种模型可解释性的潜在方法。最后，我讨论了推进该研究的若干可能方向。