将可复现性与可复现研究同泛化能力相结合于NLP中：面向目标依赖情感分析的三项复现研究

缺乏可重复性与泛化能力是自然语言处理领域持续科学发展的两大显著威胁。语言模型与学习方法极为复杂，以至于学术会议论文已无法容纳复现或复现研究所必需的技术细节空间。我们以目标依赖情感分析（Target Dependent Sentiment Analysis）为案例，揭示该领域近期工作未能一致地发布代码、未能充分描述学习方法的设置，且在训练、测试或验证数据中缺乏可比性与泛化能力。为探究泛化能力并支持最先进（state of the art）的对比评估，我们对三组互补方法开展了首批复现研究，并在六个不同的英文数据集上进行了首次大规模批量评估。基于我们的经验反思，我们建议未来的复现或复现实验应始终考虑多种数据集，同时记录并发布其方法与公开代码，以最小化可重复性与泛化能力的障碍。我们已在GitHub上发布了带有模型库（model zoo）与Jupyter Notebooks的代码以辅助理解并附完整文档，并建议其他作者在投稿时通过匿名GitHub账户对其论文采取相同做法。