每年六月，都是一个毕业季。每个大学生不仅要参加论文答辩，还要提交优质的论文。但什么样的论文才能被认为是优质的呢？最基本的一个要求就是查重率不能超过30%（这个每个学校可能要求不一样，有的是20%）。那么问题来了，我们的论文在知网下是怎么计算出查重率的呢？其实查重率最重要的是计算两篇文章的相似度。
文本相似度文本相似度计算在信息检索、数据挖掘、机器翻译、文档复制检测等领域有着广泛应用。例如舆论控制，假设你开发了一个微博网站，并且已经把世界上骂人的句子都已经收录进了一个数据库，那么当一个用户发微博时会先跟骂人句子的数据库进行比较，如果符合里面的句子就不让用户发出去。
基本算法--余弦相似度-
使用TF-IDF算法，找出两篇文章的关键词；
-
每篇文章各取出若干个关键词（比如20个），合并成一个集合，计算每篇文章对于这个集合中的词的词频（为了避免文章长度的差异，可以使用相对词频）；
-
生成两篇文章各自的词频向量；
-
计算两个向量的余弦相似度，值越大就表示越相似。
对于TF-IDF算法，我在之前的文章介绍过，有需要的可以去翻阅。这篇文章主要详细讲述余弦相似度算法。
假设向量a、b的坐标分别为(x1,y1)、(x2,y2) 。则：
设向量 A = (A1,A2,...,An)，B = (B1,B2,...,Bn) 。推广到多维，数学家已经帮我们证明了，所以你只要记住下面的公式：
简单来说可以写成下面的式子：
举一个具体例子，我们先从句子开始：
句子A：我喜欢看电视，不喜欢看电影。
句子B：我不喜欢看电视，也不喜欢看电影。
第一步：分词
句子A：我/喜欢/看/电视，不/喜欢/看/电影。
句子B：我/不/喜欢/看/电视，也/不/喜欢/看/电影。
第二步：列出所有的词
我，喜欢，看，电视，电影，不，也
第三步：计算词频
句子A：我 1，喜欢 2，看 2，电视 1，电影 1，不 1，也 0
句子B：我 1，喜欢 2，看 2，电视 1，电影 1，不 2，也 1
第四步：写出词频向量
句子A：[1, 2, 2, 1, 1, 1, 0]
句子B：[1, 2, 2, 1, 1, 2, 1]
第五步：计算余弦值
余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。
简单来说上面计算出的值代表两个句子大概九成相似，越接近1就越相似。
本文地址：百科知识频道 https://www.hkm168.com/zhibai/540512.html，易企推百科一个免费的知识分享平台，本站部分文章来网络分享，本着互联网分享的精神，如有涉及到您的权益，请联系我们删除，谢谢！
相关阅读
