htring / bm25 Goto Github PK

    bm25 = BM25()
    result = bm25.cal_similarity("自然语言处理并不是一般地研究自然语言")
    for line, score in result:
        print(line, score)

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。 1.012567843290477
它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。 2.0911221271793545
自然语言处理是一门融语言学、计算机科学、数学于一体的科学。 1.012567843290477
因此，这一领域的研究将涉及自然语言，即人们日常使用的语言， 2.2068046420905443
所以它与语言学的研究有着密切的联系，但又有重要的区别。 1.4616618736274032
自然语言处理并不是一般地研究自然语言， 3.2072055608059036
而在于研制能有效地实现自然语言通信的计算机系统， 1.201522188129132
特别是其中的软件系统。因而它是计算机科学的一部分。 0
在信息搜索中，我们做的第一步就是检索。 0
再延展一下，搜索这项功能在我们生活中也是太多太多。 0
大众一点就是搜索引擎，商品搜索等，在问题系统中可以匹配相似的问题，然后返回对应答案等。 0
文本匹配包括监督学习方法以及非监督学习方法。 0
或者分为传统方法和深度学习方法。 0
BM25 在 20 世纪 70 年代到 80 年代被提出，到目前为止已经过去二三十年了，但是这个算法依然在很多信息检索的任务中表现优异，是很多工程师首选的算法之一。 0
有时候全称是 Okapi BM25，这里的“BM”是“最佳匹配”（Best Match）的简称。 0
那么，当通过使用不同的语素分析方法，语素权重判定方法以及语素与文档的相关性判定方法，可以衍生很多不同的搜索相关性计算方法，灵活性也比较大。 0

    def _cal_similarity(self, words, index):
        score = 0
        for word in words:
            if word not in self.param.f[index]:
                continue
            molecular = self.param.idf[word] * self.param.f[index][word] * (self.param.k1 + 1)
            denominator = self.param.f[index][word] + self.param.k1 * (1 - self.param.b +
                                                                       self.param.b * self.param.line_length_list[index] /
                                                                       self.param.avg_length)
            score += molecular / denominator
        return score