互联网中存在了大批的反复页面，据统计标明近似反复页面的数量占领网站总数量的29％，而完整反复页面占领了22％。这些反复的页面对搜索引擎来说占领了很多的资源，因而搜索引擎对页面的去重也是搜索引擎中很重要的一个算法。因而今日就跟大家分析下搜索引擎页面去重算法－I－Match算法。
关于I－Match算法来说重要是依据大范围的文本聚拢进行统计，关于文本中涌现的一切单词，遵照单词的IDF（逆文本词频因子）来进行由高到低的排序，除去得分最高和得分最低的单词，保存剩下的单词最为特性词典。这一步骤重要是删除文本中无关的关键词，保存重要关键词。下面是I－Match流程表示图：
I－Match流程表示图
取得全局特性词典之后，对须要去重的页面，扫描下就能取得该页面上涌现的一切单词，关于这些单词依据特性词典过滤：保存在特性词典上涌现的单词，用来表白文档的重要内容，删除没有在特性词典中涌现的内容。提取出对应的特性词之后在应用哈希函数对特性词汇进行哈希盘算，取得的数值就是该文档的文本指纹。
一切文档都统计完之后假如想检查两篇文档能否反复只须要检查文档的文本指纹能否近似，假如近似则表示两篇文档反复。这样的比对方法很直观而且效力也很高，去重成果对照显著。
我们seo在做文章伪原创的时分常常会把文章的词语和段落替换地位，以此想诈骗搜索引擎以为这是一篇原创的文章，然而I－Match对文档之间的单词次序并不敏感。假如两篇文章中蕴含的单词一样仅仅是替换了单词的地位，那么I－Match算法还是将两篇文章以为是反复文章。
然而这个算法还是有很多问题存在。1，轻易涌现误判。尤其是面对短文本的时分，短文本自身单词对照少，经过特性词典过滤之后只保存很少的特证词，这样轻易把两篇本来不反复的文档误以为反复，这个对短文档来说状况对照重大。2。稳固性不好，对文档修正敏感。假如对文档A做出一点小修正后生成文档B，那么这个算法很能够判定出两篇文档为不反复文档。例如：我们在文档A中参加一个单词H，生成文档B。I－Match算法在进行盘算的时分，两篇文章仅仅相差一个单词H，假如单词H不再特性词典中那么两篇文章的特证词雷同即判定为反复文档，然而会涌现这种状况，单词H涌如今特性词典中，那么文本B比文档A多出一个特性，该算法很能够就会判定两篇文档不反复。这就是I－Match最大的一个问题。
基于I－Match涌现的这种问题，有人对该算法进行了改良。原算法对文档的转变十分敏感，重要是由于对繁多特性词典的过度依靠，改良后的I－Match就是缩小对特性词典的依靠性。能够采取多个特性词典，只有每个特性词典大体相近就能够疏忽渺小的差别。
转变后的I－Match算法重要是：相似I－Match原始算法，造成一个特性词典，为了和其余词典相差别能够成为主特性词典；而后依据主特性词典衍生出若干小的辅佐特性词典。为了保障特性词典的主体雷同，能够从主特性词典中随机删除若干词典项而后生成一个新的特性词典，这个特性词典就叫做辅佐特性词典，反复若干次数后就能够取得若干辅佐特性词典。当两篇文档进行对照的时分能够对主特性词典和辅佐特性词典一起比对，只有保障每个特性词典的大体内容雷同，疏忽渺小差别就能判定文档能否反复。下图是I－Match改良后的表示图：
I－Match算法改良
上图演示中有两个辅佐特性词典，主特性词典遗弃了特性5和特性6造成辅佐特性词典1，主特性词典遗弃了特性2和特性3造成了辅佐特性词典2。并且依据三个特性词典分手造成了文本指纹。假如两篇文档有两个指纹信息雷同那么即可判定两篇文档反复。
改良后的I－Match算法大大进步了文档去重的胜利率，增添了算法的稳固性。
对SEO启示：传统的伪原创文章，对一篇文章进行简朴的修正，首尾做一些小的变化，而后把中间段落调剂次序，这个对搜索引擎来说都是没有意义的，还是能够判定出两篇文章能否反复。由于我们关于文章的建立还是要原创，或许对原文章进行对照大的修正，使两篇文章的特性词典发作转变。
词语说明：
IDF 逆文档词频因子：权衡一个词广泛重要度的权衡因子，某一特定词语的IDF，可用总文件数目除以含有该词语文档数目，将得到的商取对数得到。
表示文档总数 n表示含有词条k的文档数量。
