如何鉴别真假蜘蛛，代码自动化鉴别假蜘蛛的方法
相信所有站长都很痛恨假蜘蛛，我们这里说的蜘蛛是指搜索引擎爬虫蜘蛛。在我们观察网站日志的时候我们会发现有一些蜘蛛很有迷惑性，跟真蜘蛛一模一样，根本无法直接通过肉眼区分出来。
如何鉴别真假蜘蛛，代码自动化鉴别假蜘蛛的方法
鉴别真假蜘蛛的方法
想要准确无误的判定蜘蛛的真实性，那么只有一个途径就是放过蜘蛛的IP反查其解析的域名，具体的方法参照真假蜘蛛ip识别。
简单的讲就是我们可以通过电脑的cmd等工具使用“nslookup + ip”，看返回的结果是不是对于搜索引擎的域名。
因为访问的user-agent是可以修改的，但是这个ip与域名之间的解析，要么是域名所有者或者是劫持域名解析。
对于搜索引擎的来说，通过这个方式的可能性为零，所以我们判定蜘蛛的真实性，只能使用这个方法。
假蜘蛛的目的
那么这些假蜘蛛的目的是什么，大多数就是为了采集你网站的内容、或者是对于网站进行攻击分析，伪装成搜索引擎蜘蛛可以获取站点的信任，降低被发现的可能性。
如果你经常观察网站日志是很好发现的，搜索搜索引擎不会去抓取内容资源之外的链接。同时搜索引擎不会集中时间段去大量抓取内容，也不会去有顺序的挨个去抓取页面内容。
虽然通过日志可以辨别出，但是我们不可能去时时刻刻监控网站日志；对于一些抓取内容的而已蜘蛛我们发现的时候，内容已经被爬了去了再去屏蔽意义也不是很大了，那么有什么办法自动化处理这些假蜘蛛呢？
代码自动化鉴别假蜘蛛
分享一个我觉得不错的方法，那就是在网站后端请求的时候对于访问客户端的身份做一个鉴别，对于存在问题的ip立刻进行一个屏蔽处理，就可以尽可能的保护我们的原创内容不被别人抄袭了去。
第一步就是鉴别，访问者的请求头也就是user-agent。如果请求头是蜘蛛名，那么我们就要判断其真实性，基本的原理就是反查ip。比如在php中我们无法使用nslookup命令去进行反查。但是我们可以使用gethostbyaddr()函数可以实现nslookup同样的功能。
第二步就是确认蜘蛛真实性，我们把gethostbyaddr()函数的返回值，去匹配下各个蜘蛛域名；就可以确认真的ip是不是真的搜索引擎爬虫。
第三步屏蔽处理与放通，对于存在问题的蜘蛛我们可以直接屏蔽当前IP访问网站的权限，同时你也可以直接返回一封警告信给它，估计会被你震惊到的。对于是真实蜘蛛的IP我们添加为白名单，下次直接放通不再做鉴别。
本文地址：武汉SEO优化频道 http://www.hkm168.com/seojishu/1750.html，武汉易企推公司是一家专业的武汉网络推广，百度开户竞价托管，SEO网站优化公司，提供一站式全网营销服务：小程序开发，网站建设，SEO百度排名，SEM竞价托管，百度推广开户、360搜狗百度竞价开户、百度地图标注、百科词条创建修改、微信公众号代运营、公司负面公关处理等；另外，转载本文请保留本文地址，谢谢！
相关文章-
Alt标签是什么？如何优化图片Alt标签属性
今天要跟大家聊聊图片中alt属性，不要小看这个图片的alt属性，谷歌对于这个属性还是很器重的，对于提升网站排名也有一定作用，不然谷歌也不会花好几篇文章去说明alt属性，这篇文章把谷歌官方的几篇文章提取...
2022-05-13 05:05 -
什么是反向链接？增加反向链接方法介绍
什么是反向链接？增加反向链接方法介绍，假设把网页文档A中包含的指向B的链接命名为“A-B”，则对B来说这个“A-B”即为一个反向链接，一个网页文档的反向链接越多，说明这个文档的“知名度”或“支持率”越...
2022-05-13 04:05 -
企业品牌如何做好口碑营销，来增加品牌知名度
企业品牌如何做好口碑营销，来增加品牌知名度一、什么是口碑营销企业口碑是指消费者向朋友、家人等谈论公司的产品或服务，对公司产品或服务的兴趣反映在日常生活中。口碑营销是指企业努力使消费者通过其亲朋好友之间...
2022-05-13 04:05 -
什么是反向链接，SEO优化如何提升网站的反向链接数量
什么是反链，SEO优化如何提升网站的反链数量，我们在用站长工具分析竞争对手的时候往往非常在乎一个数字，那就是网站的反链数，特别是当看到对手这个数字特别高而自己却很低的时候瞬间...
2022-05-13 03:05 -
网站反向链接建设，权重和相关性是排名的基本要求
网站反向链接建设权重和相关性是排名的基本要求，怎么能提高PR呢？很多人问，我怎么能提高PR呢？提高PR到4~5呢，很简单，你找几个相关性的网站，3个5,3个6，做了反链指向之后，你的PR差不多就...
2022-05-13 03:05 -
武汉seo提高网站关键词密度的常用方法
武汉seo提高网站关键词密度的常用方法，站长分析工具具有检查网站关键词密度的功能。关键词的数量和密度将直接影响蜘蛛的搜索。一般推荐的密度是2%和8%，那么我们如何检查网站上关键词的数量和密度呢？盲目扎...
2022-05-11 06:05
