Idiomify —— 面向非母语学习者的基于 Word2Vec 并补充搭配的英语习语逆词典构建
计算与语言
2022-04-13 v1
摘要
Idiomify 的目标是为非母语英语学习者构建一个补充搭配的习语逆词典。我们旨在这样做，因为逆词典可帮助非母语者按需探索习语，而搭配也可指导他们更恰当地使用习语。该项目的基石是从语料库中可靠地挖掘习语，然而由于习语在形式上高度多变，这是一项挑战。我们通过从其基本形式自动推导匹配规则来应对。我们使用点互信息（PMI）、词频-逆文档频率（TF-IDF）来建模搭配，因为二者均为常用的成对显著性度量。我们也以词频（TF）作为基线模型。在实现逆词典方面，可采取三种方法：倒排索引、图与分布语义。我们选择最后一种方法，并用 Word2Vec 实现逆词典，因为它是最灵活的方法，且 Word2Vec 是一个简单而强劲的基线。对方法的评估揭示了改进空间。我们认识到可借助 slop、通配符与重排序技术更好地识别习语。我们也认识到，若用机器学习寻找甜点，可兼得 PMI 与 TF-IDF 之长。最后，我们认识到 Idiomify 可通过倒排索引与分布语义方法的混合而进一步优化。尽管存在局限，所提方法可行，且对非母语者的益处明显，因而可用于辅助非母语者习得英语习语。
引用
@article{arxiv.2204.05634,
title = {Idiomify -- Building a Collocation-supplemented Reverse Dictionary of English Idioms with Word2Vec for non-native learners},
author = {Eu-Bin Kim},
journal= {arXiv preprint arXiv:2204.05634},
year = {2022}
}