你能通过180度转变愚弄AI吗?——以长田桃也文本的作者分析案例研究
计算与语言
2022-07-20 v1 人工智能
机器学习
摘要
本文是我们尝试回答一个涵盖伦理与作者分析领域的双重问题。首先,由于用于执行作者分析的方法意味着作者可通过其创作的内容被识别,我们感兴趣于查明:如果作者识别系统所面对的作者历经多年发生了重大心理转变,该系统是否还能正确地将作品归属给作者。其次,从作者伦理价值观演变的角度,我们考察若作者归属系统在检测单一作者身份时遇到困难,这意味着什么。我们通过使用基于预训练transformer模型的文本分类器和依赖常规相似度度量的基线方法执行二值作者分析任务来回答那些问题。对于测试集,我们选择了日本教育家和教育史专家长田桃也的作品,其中一半是二战前撰写的书籍,另一半是1950年代的书籍,其间他的政治观点发生了转变。结果我们确认,对于长田桃也在超过10年时间跨度内创作的文本,虽然分类准确率大幅下降且显著低于其他非虚构作家的文本,但预测置信度分数与较短时间跨度情况下保持在相似水平,表明分类器在许多情况下被误导而判定多年跨度内写的文本实际由两位不同人所写,这进而使我们相信此类变化会影响作者分析,且历史事件对一个人写作中所表达的伦理观有巨大影响。
关键词
引用
@article{arxiv.2207.09085,
title = {Can You Fool AI by Doing a 180? $\unicode{x2013}$ A Case Study on Authorship Analysis of Texts by Arata Osada},
author = {Jagna Nieuwazny and Karol Nowakowski and Michal Ptaszynski and Fumito Masui},
journal= {arXiv preprint arXiv:2207.09085},
year = {2022}
}