如何利用301跳转和robot文件来消灭循环错误页面

幸运草
幸运草
幸运草
1033
文章
3
评论
2020年4月3日20:37:50如何利用301跳转和robot文件来消灭循环错误页面已关闭评论 347

最近在优化贷款的网站,刚接手时有点头疼,网站架构一塌糊涂,网站也有JS代码和FLASH,而且面包屑、导航、URL都没整过,URL是很长一串的动态地址,基本上除了写了三个标签和做了301跳转,就没见到任何的SEO优化。还好公司有几个程序员和网站设计员,先把JS代码和FLASH删掉,还有把面包屑、导航、架构给设置好。但在把动态URL转化为伪静态时,公司同事没注意,出错了,导致类似于死循环的大量复制伪静态,十分纠结。这些页面会导致蜘蛛无法爬行,影响其他页面的收录;太多垃圾页面也会降低用户体验;影响服务器的处理速度等,危害很大,要及时处理,下面跟大家介绍下如何清理大量错误的重复页面的方法

 

不过由于以前也碰到过这类问题,解决方法也不难,有这么几种比较简单的方法:

 

1、用ROBOTS.TXT文件把不存在的URL屏蔽掉

 

2、把找不到记录的URL设置成直接跳出404页面

 

3、利用301,把动态页面跳转到正确的静态页面

 

4、用nofollow标签把错误页面屏蔽,不让蜘蛛爬取。

 

12两个方法不适合现在这网站,新的URL已经出来了,蜘蛛也爬行过了,如果再用ROBOT.TXT文件屏蔽的话,屏蔽掉一些被收录了的页面,对搜索引擎不友好,对以后优化会有一定的影响,所以第一个方法不适合;而网站出现了大量的重复URL,如果直接跳出404页面的话,会降低用户体验,太多404,蜘蛛也会不耐烦的,所以第二个方法也不适合;nofollow的话,错误页面那么多,要一个个添加,太麻烦了,也不合适。

 

分析完后,我就决定用第三个方法,用301来跳转,但还有个问题就是:301只能在页面代码中的,有错误页面时,如果直接增加301的话,会导致服务器崩溃的。所以我打算结合301跳转和ROBOTS.TXT文件,分两步来解决这个问题:

 

1、我是先用301跳转,首先要做的是把已经收录的动态地址的页面跳转到所要改的静态页面上,然后要把伪静态页面和动态页面给分辩出来,可以给伪静态页面加个参数来区别那些动态的错误页面,分辨出那些是动态的错误页面就可以直接处理掉了。

 

2、还有个问题是就算全部都转伪静态了,但还会有许多循环出来的伪静态地址,这时候我就设定ROBOTS.TXT文件,把错误的重复页面都屏蔽掉。

 

做好后再用工具检查了一下页面,错误页面没了,URL也都统一了。

 

不管是301跳转还是robot文件,都是很有用处的,尤其是robot文件,设置好了可以屏蔽网站重复页面、可以保护网站的安全、可以屏蔽一些不想蜘蛛抓取的内容、可以提交网站地图等作用,而搜索引擎来网站时一般都是先抓取robot文件内容,对网站非常重要,稍有不甚可能就导致网站出现很多问题,所以我们平时都要多接触一些这种层次稍微深点的东西,来丰富自己SEO的知识,而不是每天麻木的发外链和更新文章,这样到头来,什么都不是,只是初级的外链人员,不会有什么发展。

 

最后想说的是,处理问题的方法有很多种,但是有些方法会留下一些后遗症,处理好这个问题,可能就带来下一个问题,所以在优化过程中,尽量干净利索的把问题斩断。做SEO在发现问题时,也要及时的进行处理。

 

本文来源于:如何利用301跳转和robot文件来消灭循环错误页面-变化吧
特别声明:以上文章内容仅代表作者本人观点,不代表变化吧观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与变化吧联系。

转载请注明:{{title}}-变化吧
  • 赞助本站
  • 微信扫一扫
  • weinxin
  • 赞助本站
  • 支付宝扫一扫
  • weinxin
幸运草
怎么做一个赚钱的小说网站 建站

怎么做一个赚钱的小说网站

从2007年做站,刚好十年了。时间过得真快。因为自己是兼职做站,所以一直断断续续,也没有什么大的成绩。做过地方论坛,电影站,股票站,文章站,小说站等,能尝试的都尝试了。学了很多东西,也浪费了不少时间,...
下篇 | 172个搜索引擎术语,你都知道吗? 建站

下篇 | 172个搜索引擎术语,你都知道吗?

上篇中已经介绍了名词介绍、展现样式、工作原理、网站建设四个小部分,下篇将继续介绍页面优化、链接建设、数据分析和其他等部分。请戳链接《上篇 | 172个搜索引擎术语,你都知道吗?》 5 页面优化 网页导...
网站优化100个法则,排名稳居第一的秘籍(1~100汇总篇) 建站

网站优化100个法则,排名稳居第一的秘籍(1~100汇总篇)

我们这次来个猛地!总结网站优化的100个法则,这些经验和盘托出,希望能够帮助到朋友们!这些规则就像是交通指示灯一样,按照这些规则走的,排名就好,不按照这些走的,排名可想而知。 1、域名年龄老的网站排名...
网站SEO中要避免哪些蜘蛛陷阱呢? 建站

网站SEO中要避免哪些蜘蛛陷阱呢?

我们从事网站优化的过程中,尤其是现在收入对于网站而言是非常重要的网站,只有有了比较不错的收录之后,才有可能会取得不错的排名,因此在网站设计的时候,我们就要尽可能的让蜘蛛能够获取到网站的全部内容信息,如...