闭于百度蜘蛛正在WEB日记下留200 0 64的末极解问 改正谬论
撰写本文的动身面:因为近来项目改版,需求用到新的域名。因而天天开端对蜘蛛及用户的会见日记停止阐发,以并发明没有一般的恳求及站内毛病。空话没有多讲,曲奔主题。
步调:
NO1、改版后效劳器情况拆好,SEO好各项设置参数并测试好对中开放新域名。
NO2、1-2天百度支录、谷歌支录。(注:正在权重极下的尾页挂了一下)
NO3、10天了,百度借只支录尾页,内页动也没有动。GOOGLE曾经好几万了。
NO4、不雅察日记LOG,GOOGLE 齐是200 0 0形态码,百度200 0 64齐是那些形态码
NO5、搜刮年夜量材料阐发那些形态码。此中的材料次要去自A5战CHINAZ,发明一些底子没有懂的人也正在治讲,招致搜出去的内容其实不科教占了主导意义。
收集上的次要意义大要有上面几个不雅面,本人逐个做出解问。
1、K站的表示,那一道法次要去自被K过站的站少,然后正在集播道,只要留下200 0 64 便暗示百度要K您了。
问:毛病,那只能道是一种真科教。您有啥证据?百度民圆道了吗。我们站正在科教的角度阐发:200 0代表毗连胜利,各人皆大白。前面的64 查询MSDN后获得是收集不成用。本人开辟C++ 3年,C# 4年的经历判定,呈现那一征象,次要是果为收集被重置,大概TCP通信时哪一圆自动被断开。果为本人所处置的事情也常常是收集开辟。只要一圆没有一般断开,另外一圆会招致非常,法式便要来做响应的非常处置,IIS也是个法式,百度蜘蛛也是个法式。那么单方城市来处置那个非常。此中IIS日记便会记载200 0 64。本人不雅察一般的阅读器也会发生200 0 64 码,本果也是云云。只要阅读器正在DEBUG时然后中止毗连,日记便会发生那种形态码。
再道,我一个新域名,也出有啥优化过分,做个啥的弊,被K啥。
2、收集广为传播的代表64位操纵体系。
问:狗屎,滚开。中国的互联网恰是果为有了您们那些人,才会有那么多的渣滓弹窗。
3、GZIP优化后,招致那一状况发生。
问:本人偏重针对那一面停止阐发,GZIP的本理没有道了,为何做也没有道了。那么GOOGLE,战市情上年夜大都阅读器也是撑持GZIP的,百度的蜘蛛也是撑持GZIP的。那一面能够从百度的民圆获得承认,百度民圆的搜索系统优化指北也倡导那一做法。本人的效劳器曾经开启GZIP,获得的形态码年夜大都以下:
2012-02-23 00:11:18 W3SVC571308376 192.168.206.2 GET ***/forum.php mod=viewthread&tid=59286&extra=page%3D1&page=1& 80 - 123.125.71.98 Mozilla/5.0+(compatible;+Baiduspider/2.0;++百度/search/spider.html) 200 0 64
2012-02-23 00:18:26 W3SVC571308376 192.168.206.2 GET ***/index.php - 80 - 123.125.71.110 Mozilla/5.0+(compatible;+Baiduspider/2.0;++百度/search/spider.html) 200 0 64
2012-02-23 01:37:23 W3SVC571308376 192.168.206.2 GET ***/archiver/index.php action=tid&value=90013& 80 - 123.125.71.56 Mozilla/5.0+(compatible;+Baiduspider/2.0;++百度/search/spider.html) 200 0 64
因而本人封闭GZIP停止跟踪不雅察,第两天发明的日记以下:
2012-02-24 01:46:05 W3SVC571308376 192.168.206.2 GET ***//archiver/index.php action=fid&value=64& 80 - 123.125.71.22 Mozilla/5.0+(compatible;+Baiduspider/2.0;++百度/search/spider.html) 200 0 0
2012-02-24 01:46:08 W3SVC571308376 192.168.206.2 GET ***//plugin.php id=vgallery:vgallery&tion=view&vid=59 80 - 123.125.71.16 Mozilla/5.0+(compatible;+Baiduspider/2.0;++百度/search/spider.html) 200 0 0
2012-02-24 01:38:54 W3SVC571308376 192.168.206.2 GET ***//forum.php mod=viewthread&tid=90290&extra=page%3D1&page=1& 80 - 123.125.71.114 Mozilla/5.0+(compatible;+Baiduspider/2.0;++百度/search/spider.html) 200 0 0
为何会那模样呢?我的阐发以下:
1、百度正在恳求页里内容的时分,获得GZIP减稀串,然后停止解稀。那一历程出有实时的将盈余的资本读与终了便干本人的事了。招致效劳圆呈现非常,以是发生了收集被重置,收集名不成用的日记。GOOGLE那一圆里做的十分好,完整根据流程处事。实在那也是出有干系的。果为百度曾经获得了本人念要的内容。
2、百度正在恳求页里内容的时分,获得GZIP减稀串,解稀失利。哈哈。那道不外来吧。那恰是广阔站少最担忧的,百度也出有注释。我以为那面倒没有致于。
3、有些人道,我出有启用GZIP为何也会有200 0 64 ,果为蜘蛛正在抓您的内容的时分,您的内容出有发作变革,它只判定内容流的前部门便间接封闭此次通信。招致您的效劳器法式呈现收集不成用大概收集名没有存正在,也便是64。实在百度那么做是为了进步抓与服从。
经由过程本人的阐发,保举各人封闭GZIP先。实在也便是个心思有个定心。甚么网上所谓的K站先兆,64位体系皆是出有证据的,没必要理睬。
另,按照本人的亲测,百度的确有个新站考查期,工夫为,1周-2月没有等。
本文由51dianzhu站少供稿。
注:相干网站建立本领浏览请移步到建站教程频讲。
相关信息
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|