如何鉴别真假蜘蛛,代码自动化鉴别假蜘蛛的方法

作者: 来源:未知 2021-06-08 06:07

相信所有站长都很痛恨假蜘蛛,我们这里说的蜘蛛是指搜索引擎爬虫蜘蛛。在我们观察网站日志的时候我们会发现有一些蜘蛛很有迷惑性,跟真蜘蛛一模一样,根本无法直接通过肉眼区分出来。

如何鉴别真假蜘蛛,代码自动化鉴别假蜘蛛的方法
如何鉴别真假蜘蛛,代码自动化鉴别假蜘蛛的方法

鉴别真假蜘蛛的方法

想要准确无误的判定蜘蛛的真实性,那么只有一个途径就是放过蜘蛛的IP反查其解析的域名,具体的方法参照真假蜘蛛ip识别。

简单的讲就是我们可以通过电脑的cmd等工具使用“nslookup + ip”,看返回的结果是不是对于搜索引擎的域名。

因为访问的user-agent是可以修改的,但是这个ip与域名之间的解析,要么是域名所有者或者是劫持域名解析。

对于搜索引擎的来说,通过这个方式的可能性为零,所以我们判定蜘蛛的真实性,只能使用这个方法。

假蜘蛛的目的

那么这些假蜘蛛的目的是什么,大多数就是为了采集你网站的内容、或者是对于网站进行攻击分析,伪装成搜索引擎蜘蛛可以获取站点的信任,降低被发现的可能性。

如果你经常观察网站日志是很好发现的,搜索搜索引擎不会去抓取内容资源之外的链接。同时搜索引擎不会集中时间段去大量抓取内容,也不会去有顺序的挨个去抓取页面内容

虽然通过日志可以辨别出,但是我们不可能去时时刻刻监控网站日志;对于一些抓取内容的而已蜘蛛我们发现的时候,内容已经被爬了去了再去屏蔽意义也不是很大了,那么有什么办法自动化处理这些假蜘蛛呢?

代码自动化鉴别假蜘蛛

分享一个我觉得不错的方法,那就是在网站后端请求的时候对于访问客户端的身份做一个鉴别,对于存在问题的ip立刻进行一个屏蔽处理,就可以尽可能的保护我们的原创内容不被别人抄袭了去。

第一步就是鉴别,访问者的请求头也就是user-agent。如果请求头是蜘蛛名,那么我们就要判断其真实性,基本的原理就是反查ip。比如在php中我们无法使用nslookup命令去进行反查。但是我们可以使用gethostbyaddr()函数可以实现nslookup同样的功能。

第二步就是确认蜘蛛真实性,我们把gethostbyaddr()函数的返回值,去匹配下各个蜘蛛域名;就可以确认真的ip是不是真的搜索引擎爬虫。

第三步屏蔽处理与放通,对于存在问题的蜘蛛我们可以直接屏蔽当前IP访问网站的权限,同时你也可以直接返回一封警告信给它,估计会被你震惊到的。对于是真实蜘蛛的IP我们添加为白名单,下次直接放通不再做鉴别。


本文地址:武汉SEO优化频道 http://www.hkm168.com/seojishu/1750.html,武汉易企推公司是一家专业的武汉网络推广,百度开户竞价托管,SEO网站优化公司,提供一站式全网营销服务:小程序开发,网站建设,SEO百度排名,SEM竞价托管,百度推广开户、360搜狗百度竞价开户、百度地图标注、百科词条创建修改、微信公众号代运营、公司负面公关处理等;另外,转载本文请保留本文地址,谢谢!


相关文章相关文章
  • Alt标签是什么?如何优化图片Alt标签属性

    Alt标签是什么?如何优化图片Alt标签属性

    今天要跟大家聊聊图片中alt属性,不要小看这个图片的alt属性,谷歌对于这个属性还是很器重的,对于提升网站排名也有一定作用,不然谷歌也不会花好几篇文章去说明alt属性,这篇文章把谷歌官方的几篇文章提取...

    2022-05-13 05:05
  • 什么是反向链接?增加反向链接方法介绍

    什么是反向链接?增加反向链接方法介绍

    什么是反向链接?增加反向链接方法介绍,假设把网页文档A中包含的指向B的链接命名为“A-B”,则对B来说这个“A-B”即为一个反向链接,一个网页文档的反向链接越多,说明这个文档的“知名度”或“支持率”越...

    2022-05-13 04:05
  • 企业品牌如何做好口碑营销,来增加品牌知名度

    企业品牌如何做好口碑营销,来增加品牌知名度

    企业品牌如何做好口碑营销,来增加品牌知名度一、什么是口碑营销企业口碑是指消费者向朋友、家人等谈论公司的产品或服务,对公司产品或服务的兴趣反映在日常生活中。口碑营销是指企业努力使消费者通过其亲朋好友之间...

    2022-05-13 04:05
  • 什么是反向链接,SEO优化如何提升网站的反向链接数量

    什么是反向链接,SEO优化如何提升网站的反向链接数量

    什么是反链,SEO优化如何提升网站的反链数量,我们在用站长工具分析竞争对手的时候往往非常在乎一个数字,那就是网站的反链数,特别是当看到对手这个数字特别高而自己却很低的时候瞬间...

    2022-05-13 03:05
  • 网站反向链接建设,权重和相关性是排名的基本要求

    网站反向链接建设,权重和相关性是排名的基本要求

    网站反向链接建设权重和相关性是排名的基本要求,怎么能提高PR呢?很多人问,我怎么能提高PR呢?提高PR到4~5呢,很简单,你找几个相关性的网站,3个5,3个6,做了反链指向之后,你的PR差不多就...

    2022-05-13 03:05
  • 武汉seo提高网站关键词密度的常用方法

    武汉seo提高网站关键词密度的常用方法

    武汉seo提高网站关键词密度的常用方法,站长分析工具具有检查网站关键词密度的功能。关键词的数量和密度将直接影响蜘蛛的搜索。一般推荐的密度是2%和8%,那么我们如何检查网站上关键词的数量和密度呢?盲目扎...

    2022-05-11 06:05
湖北SEO
孝感seo 十堰seo 恩施seo 咸宁seo 荆州seo 荆门seo 黄冈seo 黄石seo 襄阳seo 宜昌seo 随州seo 鄂州seo 天门seo 潜江seo 北京seo 天津seo 上海seo 重庆seo 西宁seo 拉萨seo 乌鲁木齐seo 武汉SEO优化 武汉SEO顾问 百度推广开户 巨量千川推广 危机公关处理 百度百科创建
河北SEO
石家庄seo 唐山seo 邯郸seo 保定seo 沧州seo 邢台seo 廊坊seo 承德seo 张家口seo 衡水seo 秦皇岛seo
河南SEO
郑州seo 开封seo 洛阳seo 平顶山seo 焦作seo 鹤壁seo 新乡seo 安阳seo 濮阳seo 许昌seo 漯河seo 三门峡seo 南阳seo 商丘seo 信阳seo 周口seo 驻马店seo 济源seo
湖南SEO
长沙seo 株洲seo 湘潭seo 衡阳seo 邵阳seo 岳阳seo 常德seo 张家界seo 益阳seo 郴州seo 永州seo 怀化seo 娄底seo 湘西seo
江西SEO
南昌seo 九江seo 景德镇seo 上饶seo 鹰潭seo 抚州seo 宜春seo 新余seo 萍乡seo 吉安seo 赣州seo
安徽SEO
合肥seo 黄山seo 芜湖seo 马鞍seo 安庆seo 淮南seo 阜阳seo 淮北seo 铜陵seo 亳州seo 宣城seo 蚌埠seo 六安seo 池州seo 滁州seo 宿州seo
山东SEO
济南seo 青岛seo 淄博seo 枣庄seo 东营seo 烟台seo 潍坊seo 济宁seo 泰安seo 威海seo 日照seo 临沂seo 德州seo 聊城seo 滨州seo 菏泽seo
江苏SEO
南京seo 无锡seo 徐州seo 常州seo 苏州seo 南通seo 连云港seo 淮安seo 盐城seo 扬州seo 镇江seo 泰州seo 宿迁seo
浙江SEO
杭州seo 湖州seo 嘉兴seo 金华seo 丽水seo 宁波seo 衢州seo 绍兴seo 台州seo 温州seo 舟山seo
福建SEO
福州seo 厦门seo 泉州seo 漳州seo 莆田seo 宁德seo 龙岩seo 三明seo 南平seo
海南SEO
海口seo 三亚seo 三沙seo 儋州seo
广东SEO
广州seo 深圳seo 珠海seo 汕头seo 佛山seo 韶关seo 湛江seo 肇庆seo 江门seo 茂名seo 惠州seo 梅州seo 汕尾seo 河源seo 阳江seo 清远seo 东莞seo 中山seo 潮州seo 揭阳seo 云浮seo
广西SEO
南宁seo 桂林seo 柳州seo 梧州seo 钦州seo 北海seo 玉林seo 贵港seo 防城港seo 百色seo 崇左seo 来宾seo 贺州seo 河池seo
云南SEO
昆明seo 曲靖seo 玉溪seo 昭通seo 保山seo 丽江seo 普洱seo 临沧seo 德宏seo 怒江seo 迪庆seo 大理seo 楚雄seo 红河seo 文山seo 西双版纳seo
贵州SEO
贵阳seo 遵义seo 六盘水seo 安顺seo 毕节seo 铜仁seo 黔东南seo 黔南seo 黔西南seo
四川SEO
成都seo 自贡seo 攀枝花seo 泸州seo 德阳seo 绵阳seo 广元seo 遂宁seo 内江seo 乐山seo 南充seo 眉山seo 宜宾seo 广安seo 达州seo 雅安seo 巴中seo 资阳seo 阿坝seo 甘孜seo 凉山seo
山西SEO
太原seo 大同seo 朔州seo 忻州seo 阳泉seo 吕梁seo 晋中seo 长治seo 晋城seo 临汾seo 运城seo
陕西SEO
西安seo 宝鸡seo 咸阳seo 铜川seo 渭南seo 延安seo 榆林seo 汉中seo 安康seo 商洛seo
甘肃SEO
兰州seo 嘉峪关seo 金昌seo 白银seo 天水seo 武威seo 张掖seo 平凉seo 酒泉seo 庆阳seo 定西seo 陇南seo 临夏seo 甘南seo
宁夏SEO
银川seo 石嘴山seo 吴忠seo 固原seo 中卫seo
内蒙SEO
呼和浩特seo 包头seo 乌海seo 赤峰seo 通辽seo 鄂尔多斯seo 呼伦贝尔seo 巴彦淖尔seo 乌兰察布seo
辽宁SEO
沈阳seo 大连seo 鞍山seo 抚顺seo 本溪seo 丹东seo 锦州seo 营口seo 阜新seo 辽阳seo 盘锦seo 铁岭seo 朝阳seo 葫芦岛seo
吉林SEO
长春seo 四平seo 辽源seo 通化seo 白山seo 松原seo 白城seo 延边seo
黑龙江SEO
哈尔滨seo 齐齐哈尔seo 鹤岗seo 双鸭山seo 鸡西seo 大庆seo 伊春seo 牡丹江seo 佳木斯seo 七台河seo 黑河seo 绥化seo
本地企业
              可提供上门服务

便捷

本地企业可提供上门服务

提供适合、专业可行方案

周到

提供适合、专业可行方案

5-10分钟售后响应机制<

贴心

5-10分钟售后响应机制

按效果收费,无效果不收费

放心

按效果收费,无效果不收费

行业高标准,效果稳定可靠

稳定

行业高标准,效果稳定可靠

1-3个月排名上百度首页

快速

1-3个月排名上百度首页

武汉易企推网络公司;公司地址:武汉市武昌区静安路6号5.5创意产业园4楼;公司官网:http://www.hkm168.com XML地图

服务热线:18120550335 / 027-88866235 欢迎来电咨询; 联系QQ:1193073039

Copyrigh©2017-2030 版权所有:武汉易企推网络科技有限公司 备案号:鄂ICP备17012199号 网站地图 手机站