汉语视角下的命题：一个汉语命题分类评测基准
计算与语言
2023-09-19 v1 人工智能
机器学习
摘要
现有命题常依赖逻辑常元进行分类。与偏向形合的英语等西方语言相比，汉语在日常表达中常依赖语义或逻辑理解而非逻辑连接词，呈现出意合特征。然而，现有研究很少关注这一问题。而准确分类这些命题对自然语言理解与推理至关重要。本文提出显式命题与隐式命题的概念，并基于语言学与逻辑学提出一个综合的多层级命题分类体系。相应地，我们从多个领域构建了大规模汉语命题数据集 PEACE，覆盖命题相关的所有类别。为评测现有模型的汉语命题分类能力并探究其局限，我们使用包括基于规则的方法、SVM、BERT、RoBERTA 和 ChatGPT 在内的多种不同方法在 PEACE 上进行了评测。结果表明恰当建模命题语义特征的重要性。BERT 具有相对较好的命题分类能力，但缺乏跨领域可迁移性。ChatGPT 表现较差，但通过提供更丰富的命题信息可提升其分类能力。许多问题仍远未解决，需进一步研究。
引用
@article{arxiv.2309.09602,
title = {Proposition from the Perspective of Chinese Language: A Chinese Proposition Classification Evaluation Benchmark},
author = {Conghui Niu and Mengyang Hu and Lin Bo and Xiaoli He and Dong Yu and Pengyuan Liu},
journal= {arXiv preprint arXiv:2309.09602},
year = {2023}
}