利用次模函数优化 (SFO) 优化关键短语排序的相关性与多样性
信息检索
2024-10-29 v1 人工智能
摘要
关键短语排序通过高效地索引和检索相关信息，在信息检索和摘要生成中发挥着至关重要的作用。自然语言处理的进步，尤其是大语言模型 (LLM)，改进了关键短语的提取和排序。然而，传统方法往往忽略了多样性，导致关键短语冗余。我们提出了一种利用次模函数优化 (SFO) 来平衡关键短语排序中相关性与多样性的新方法。通过将该任务构建为次模最大化问题，我们的方法能够选择具有多样性和代表性的关键短语。在基准数据集上的实验表明，我们的方法在相关性和多样性指标上均优于现有方法，并在执行时间上实现了 SOTA 性能。我们的代码已在线提供。
引用
@article{arxiv.2410.20080,
title = {Optimizing Keyphrase Ranking for Relevance and Diversity Using Submodular Function Optimization (SFO)},
author = {Muhammad Umair and Syed Jalaluddin Hashmi and Young-Koo Lee},
journal= {arXiv preprint arXiv:2410.20080},
year = {2024}
}