BM25（Best Matching 25）是一种用于信息检索的启发式算法，广泛用于搜索引擎等系统中。它是一种改进的TF-IDF算法，考虑了查询词项在文档中的频率以及在整个语料库中的分布情况。以下是BM25算法的详细分析：

BM25算法首先计算查询词项在文档中的频率，表示为 $f$。TF度量了查询词项在文档中出现的次数，一般采用的是词频率（词出现的次数除以文档的总词数）。

BM25算法的逆文档频率度量了查询词项在整个语料库中的分布情况。它通过文档频率（DF，即包含查询词项的文档数量）来计算。逆文档频率的公式如下：

$$ \text{IDF}(q_i) = \log\frac{N - n(q_i) + 0.5}{n(q_i) + 0.5} $$

其中，$N$ 表示语料库中的文档总数，$n(q_i)$ 表示包含查询词项 $q_i$ 的文档数量。

BM25算法考虑了文档长度的影响，通过一个调节参数来调整不同长度文档的影响。一般采用的是文档长度与平均文档长度的比值，公式如下：

$$ K = k_1 \cdot \left( (1 - b) + b \cdot \frac{{\text{dl}}}{{\text{avdl}}} \right) $$

其中，$k_1$ 是一个经验值，一般设置为1.2；$b$ 是另一个经验值，一般设置为0.75；$\text{dl}$ 表示文档长度；$\text{avdl}$ 表示平均文档长度。

最终，BM25算法的评分公式如下：

$$ \text{score} = \text{IDF}(q_i) \cdot \frac{{(k_1 + 1) \cdot f}}{{K + f}} \cdot \frac{{(k_2 + 1) \cdot qf}}{{k_2 + qf}} $$

其中，$q_i$ 是查询中的词项，$f$ 是词项在文档中的词频，$qf$ 是查询中词项的频率，$k_1$ 和 $k_2$ 是调节参数，$K$ 是文档长度调节参数。

• BM25算法考虑了文档长度的影响，对长文档和短文档进行了合理的调节。
• 它采用了逆文档频率来调整不同查询词项的重要性，能够更好地处理停用词等常见词汇。
• BM25算法的参数具有一定的鲁棒性，可以通过调整参数来适应不同的数据集和应用场景。

BM25是对TF-IDF算法的改进，它在以下几个方面进行了改进：

1. 文档长度的考虑：

   • TF-IDF算法中，文档长度对词项频率的影响没有被明确考虑，较长的文档可能会有更高的词频，从而导致词项的重要性被高估。
   • BM25引入了文档长度的调节参数，根据文档长度和平均文档长度的比值来调整词频的影响，使得对不同长度的文档进行了合理的调节，从而提高了算法的性能。

2. 逆文档频率的改进：

   • TF-IDF算法中，逆文档频率只是简单地使用文档频率的倒数来表示词项的重要性，没有考虑到文档频率的分布情况。
   • BM25使用了一个更为复杂的逆文档频率计算公式，考虑了文档频率的分布情况，通过对文档频率取对数并加上平滑项，使得算法对词频的调节更加灵活。

3. 调节参数的引入：

   • BM25引入了两个调节参数$k_1$和$k_2$，分别用于调节词频和查询词项频率的影响。
   • 这两个参数使得BM25算法具有更大的灵活性，可以根据不同的数据集和应用场景进行调整，从而获得更好的性能。

综上所述，BM25算法通过考虑文档长度、改进逆文档频率计算和引入调节参数等方式对TF-IDF算法进行了改进，使得算法在信息检索任务中取得了更好的性能。

• https://zhuanlan.zhihu.com/p/79202151
• https://zhuanlan.zhihu.com/p/677805430
• https://zhuanlan.zhihu.com/p/113224707
• https://www.zhihu.com/question/349357370