• 评论
{stl:value type=conadv}

Robots文件如何告诉搜索引擎该抓取什么内容?

Robots文件如何告诉搜索引擎该抓取什么内容?

时间:20171,1021,127 101,1221,113 来源:未知 作者:江西SEO曾庆平 点击量:次

首先要了解什么是robots文件,比如,在江西SEO曾庆平的首页网址后面加入“/robots.txt”,即可打开该网站的robots文件。robots文件里显示的内容是要告诉搜索引擎哪些网页希望被抓取,哪些不希望被抓取。因为网站中有一些无关紧要的网页,如“给我留言”或“联系方式”等网页,它们井不参与SEO排名,只是为了给用户看,此时可以利用robots文件把它们屏蔽,即告诉搜索引擎不要抓取该页面。
 
蜘蛛抓取网页的精力是有限的,即它每次来抓取网站,不会把网站所有文章、所有页面一次性全部抓取,尤其是当网站的内容越来越多时,它每次只能抓取一部分。那么怎样让它在有限的时间和精力下每次抓取更多希望被抓取的内容,从而提高效率呢?比如江西SEO曾庆平网站robots文件如图:
 
江西SEO曾庆平网站robots文件
 
此时可以利用robots文件。小型网站没有该文件无所谓,但对于中大型网站来说,robots文件尤为重要。因为这些网站数据库非常庞大,蜘蛛来时,要像对待好朋友一样要给它看最重要的东西,因为这个朋友时间精力有限,每次来都不能把所有的东西看一遍,所以就需要robots文件屏蔽一些无关紧要的东西。由于种种原因,某些文件不想被搜索引擎抓取,如出于隐私保护的内容,也可以用robots文件把搜索引擎屏蔽。
 
robots文件具体代表什么意思呢?可以百度一下“robots.txt",打开“百度百科”,如图所示。
 
 
“百度百科”中提到“有些人会问,既然robots文件没弄好或出错了,会影响整个网站的收录,那为什么还要这个文件呢?”这句话中的“出错了”是指将不该屏蔽的网址屏蔽了,导致蜘蛛不能抓取这些页面,这样搜索引擎就不会收录它们,那何谈排名呢?所以robots文件的格式一定要正确。
 
再回到上面的问题,“百度百科”给出的回答是“其实robots文件是为特定需要的SEO站长准备的,因为有些网站,有一些页面是SEO站长不想被搜索引擎收录的,所以才有了这个robots文件。”
 
“百度百科”还给出了“robots.txt文件用法举例”,其中提到1,1
 
(1)“User1,1agent1,1 *
 
         Disallow1,1 /”
 
表示“禁止所有搜索引擎访问网站的任何部分”,这相当于该网站在搜索引擎里没有记录,也就根本谈不上排名。
 
(2)“User1,1agent1,1 *
 
         Disallow1,1”
 
表示“允许所有的robots访问”,即允许蜘蛛任意抓取并收录该网站。这里需要注意,前两条语法之间只相差一个“/”。
 
(3)“User1,1agent1,1 BadBot
 
           Disallow1,1 /”
 
表示“禁止某个搜索引擎的访问”。
 
(4)“User1,1agent1,1 Baiduspider
 
         Disallow1,1
 
         User1,1agent1,1*
 
         Disallow1,1/”
 
表示“允许某个搜索引擎的访问”。前面已经讲过“Baiduspider”是百度蜘蛛的名称,这条语法即是允许百度抓取该网站,而不允许其他搜索引擎抓取。
 
“百度百科”还举了一个简单的例子,两个“/”之间是网站具体的文件夹。像“百度百科”这样共享的robots文件写法己经比较全面,这里就不再一一介绍了。
 
本篇介绍了robots文件的主要用途。再举一个案例,某个网站以前是做SEO的,现在要做汽车,所以网站的内容要全部更换。删除有关减肥药的文章,这样会出现大量404页面、很多死链接,而这些链接以前己经被百度收录,但网站更换后蜘蛛再过来发现这些页面都不存在了,这就会留下很不好的印象。此时可以利用robots文件把死链接全部屏蔽,不让百度访问这些已不存在的页面即可。
 
使用robots文件应该注意什么呢?首先,在不确定文件格式怎么写之前,可以先新建一个文本文档,注意robots文件名必须是“robots.txt",其后缀是“txt”且是小写,不可随意更改,否则搜索引擎识别不了。然后打开该文件,可以直接复制粘贴他人的格式。比如百度的robots文件如图:
 
robots文件
 
注意:首页的网址不要出现在robots文件中,只需写上被禁止抓取的页面网址中除首页域名以外的部分即可。
 
如果写成“Disallow1,1/wzjc/”,则表示屏蔽/wzjc/目录里的所有文章,蜘蛛抓取不到其中任何一篇,也就意味着这些文章都不参与排名。但如果写成“Disallow1,1 /wzjc ”,最后面少了一个“/”,这就表示屏蔽该网站中网址前部包含“/wzjc”的所有网页,如“www.qingpingseo.com/wzjc123”或一个具体的网页“www.qingpingseo.com/wzjc1234.html”等,都不能被蜘蛛抓取。这种写法有一个好处,比如,我的网站有很多分页,这些分页的网址1,1极有规律,前部分完全相同,只是最末尾的数字不一样。如果想屏蔽所有分页,即可写成“Disallow1,1 /cat/? page”,不需要逐条写出。

 
版权所有。转载时必须以链接形式注明作者和原始出处。请大家尊重原创,珍惜别人的汗水!

标题: 标题
评论:   评论 
验证码:  
  [Ctrl+Enter]
  • YY-06-04互联网金融产品如何做线上营销
  • YY-06-04SEO一词一站的优化思维
  • YY-06-04被中文SEO遗忘了的Google SEO优化
  • YY-06-04网站没备案对SEO有哪些影响?
  • YY-06-04如何写出有影响力的行业类软文?
  • YY-06-04原创文章一定收录,伪原创一定不收录?
  • YY-06-04如何写一篇高质量伪原创文章?
  • YY-06-04完整分析一个网站SEO优化的具体做法
  • YY-06-04Robots文件如何告诉搜索引擎该抓取什么内容?
  • YY-06-04总结SEO获得外链的方法
  • YY-06-04SEO部门沟通、培训及规范
  • YY-06-04SEO工作流程及计划
  • YY-06-04如何组建优秀的SEO团队?
  • YY-06-04SEO优化到底是选择内部团队还是外包服务?
  • YY-06-04一个价值5000亿美金的算法,Google开启的算法时代
  • YY-06-04商城类型的网站如何做SEO优化推广?
  • YY-06-04接棒百度框计算,微信小程序框计算上线
  • YY-06-04频繁修改网站页面标题真的会被降权吗?
  • YY-06-04企业网站怎么做SEO排名?
  • YY-06-04微信搜一搜的商业化广告上线
  • YY-06-04谈谈百度指数一些常见的误区
  • YY-06-04SEO优化与网站目标设定目标的微妙关系
  • YY-06-04通过SEO策略能获得80万UV的网站
  • YY-06-04为什么你的百家号文章阅读量那么差,爆款文章总结!
  • YY-06-04新站要怎么做SEO优化?
  • YY-06-04分享一个6年SEO工作者的35个SEO经验
  • YY-06-04追求流量背后的动机目标是什么呢?
  • YY-06-04亚马逊运营笔记:关于标题关键词的套路
  • YY-06-04垂直电商做SEO这个思路 轻松获得每日5万UV
  • YY-06-04如何降低网站页面相似度?
  • YY-06-04如何衡量一个网站SEO的成功?
  • YY-06-04什么样的页面属于高质量页面?
  • YY-06-04公司(企业)为什么要做SEO?
  • YY-06-04SEO最短的时间内赚取第一桶金
  • YY-06-04SEO一定要会程序代码吗?
  • YY-06-04为什么要做SEO?
  • YY-06-04SEO如何布局长尾关键词?
  • YY-06-04谈谈我对SEO原创内容的理解!
  • YY-06-04怎么SEO优化七夕等这些节点类的关键词
  • YY-06-04一个有趣好玩的SEO案例
  • YY-06-04哪些词在百度里面SEO是做不上去的呢?
  • YY-06-04聚合是SEO策略标配,但真正做好很难
  • YY-06-04https可能有助于SEO效果提升
  • YY-06-04网上人们如何搜索相关信息的?
  • YY-06-04原创内容比伪原创内容更利于网站快速排名吗?
  • YY-06-04高质量伪原创文章有什么注意事项?
  • YY-06-04SEO讲讲自己走过的一些网络推广的套路
  • YY-06-04SEO中网站微创新的几个注意点
  • YY-06-04SEO对百度统计热力点击图的研究
  • YY-06-04黑帽SEO用302重定向让微信公众号获得快速排名原理
  • YY-06-04SEO正确解决网站页面相似度的问题
  • YY-06-04SEO为什么要把网站的URL做成伪静态?
  • YY-06-04SEO如何正确设置网站三要素的优化?
  • YY-06-04如何选择国内主流的网站程序建站呢?
  • YY-06-04SEO人员谈谈网站品牌商标的重要性
  • YY-06-04SEO有比较常见的赚钱方式(二)
  • YY-06-04SEO有比较常见的赚钱方式(一)
  • YY-06-04SEO如何设计网站的权重传递体系
  • YY-06-04如何打造一个高质量内容的网站?
  • YY-06-04如何利用应用商店快速引流?
  • YY-06-04如何利用好内容平台进行导流呢?
  • YY-06-04SEO的优化思路主要有以下几个角度
  • YY-06-04网站内链优化合理的操作方法
  • YY-06-04让SEO效果事半功倍的7个细节
  • YY-06-04近期分享个人对自己SEO优化工作的总结
  • YY-06-04一起谈谈SEO网络优化效果评估的方法
  • YY-06-04为什么进行微调以及微调有哪些好处?
  • YY-06-04SEO终极思考:网站排名为何越来越难做?
  • YY-06-04总结网站SEO优化的三个基本要点!
  • YY-06-04SEO布置关键词可以更容易获得排名?
  • YY-06-042018年企业SEO优化应怎么做呢
  • YY-06-04如何用SEO的思维投简历?
  • YY-06-04网站链接原理与SEO搜索引擎算法
  • YY-06-04SEO经理和SEO员工的关系应该如何处理好?
  • YY-06-04初学者怎么学习SEO入门?
  • YY-06-04做SEO,SEM,新媒体,电商哪个更好?
  • YY-06-04如何让SEO投稿通过率提升80%的技巧?
  • YY-06-04SEO外包人员必学的SEO知识与技巧
  • YY-06-04网站SEO关键词排名互点操作流程详解
  • YY-06-04搜索引擎中移动端与PC端SEO优化的区别是什么?
  • YY-06-04利用SEO优化技术使正面信息覆盖负面信息
  • YY-06-04想要学好SEO必须知道的三大技巧
  • YY-06-04SEO怎么快速把新站关键词优化到百度第一页上去?
  • YY-06-04三分钟带SEO新手全面了解SEO技术
  • YY-06-04如果选择入行SEO,如何才能做好呢?
  • YY-06-04专业的SEO优化团队与SEO工具汇总
  • YY-06-04谈谈针对目前SEO快排的一些看法!
  • YY-06-04网站站内SEO如何优化呢?
  • YY-06-04SEO付费课是怎么变成强行装B秀的?
  • YY-06-04初入网络SEO优化接触被动引流赚钱方法!
  • YY-06-04SEO如何让百度快速索引的有效方法!
  • YY-06-04SEO秘诀:十年如一日的坚持做SEO优化
  • YY-06-04很多创业人的成功离不开SEO的整体框架
  • YY-06-04SEO如何写好高质量文章抓住用户的需求心理?
  • YY-06-04身经百战的SEO人员如何做好网站优化?
  • YY-06-04除了搜索流量之外,我们还能做点什么?
  • YY-06-04SEO高手和SEO菜鸟最大的区别是什么?
  • YY-06-04如何才能快速利用SEO去赚钱?
  • YY-06-04网站SEO推广计划书怎么写?
  • YY-06-04网站运营和SEO优化之间的关系
  • YY-06-04SEO实战培训:SEO如何发展和转型
  • YY-06-04SEO培训网:这样操作SEO可以快速提升排名
  • YY-06-04一个企业或者个人到底需不需懂SEO技术?
  • YY-06-04我们需要一套科学的SEO自学方法
  • YY-06-04惊雷算法2.0后我们又该怎么做SEO呢?
  • YY-06-04【SEO培训学院】去SEO优化培训学校学SEO多少钱?
  • YY-06-04为什么没有低价卖掉我的SEO培训教程?
  • YY-06-04SEO团队建设与绩效考核
  • YY-06-04如何通过企业网站SEO优化赚钱?
  • YY-06-04如何通过SEO正规流程提升网站排名?
  • YY-06-04SEO优化如何做到上千万业绩?
  • YY-06-04做SEO就是为了排名到首页?
  • YY-06-04SEO走在别人屁股后面怎么排名到首页?
  • YY-06-04SEO哪些不需要一直更新?SEO哪些需要长期更新?
  • YY-06-04网站改版大调整对SEO的影响
  • YY-06-04Google算法:Google SEO算法调整
  • YY-06-04SEO教程:SEO新手经常会犯一些常识性问题
  • YY-06-04SEO入门教程:SEO专业词汇大全必学
  • YY-06-04SEO核心思路:2018专业SEO服务的优势与价值
  • YY-06-04百度SEO优化排名:SEO的系统化优化策略
  • YY-06-04SEO优化排名:SEO、SEM以外的引流方法
  • YY-06-04百度SEO排名优化:如何通过数据分析来提高关键词的排名?
  • YY-06-04SEO优化公司:SEO必须要懂技术和建站吗?
  • YY-06-04百度SEO网站优化:不同类型的网站SEO优化方法不同
  • YY-06-04太原SEO优化:SEO行业面临的状况
  • YY-06-04北京SEO优化:一个新网站的SEO怎么做?
  • YY-06-04西安SEO优化:网站编辑必须知道的几种SEO技巧
  • YY-06-04郑州SEO优化:我们SEO每天应该做些什么呢?
  • YY-06-04SEO优化网:为什么你学不好谷歌SEO?
  • YY-06-04广西SEO优化:做SEO前分析关键词排名数据
  • YY-06-04国内SEO公司:SEO优化业务流程框架梳理
  • YY-06-04SEO关键词推广:不会写原创文章该怎么办?
  • YY-06-04SEO优化方法:你认为学好SEO技术要多久?
  • YY-06-04SEO电子书:借助SEO技术快速微信吸粉
  • YY-06-04泊君SEO:外贸SEO常用的推广方法
  • YY-06-04武汉SEO服务:为什么不能忽略品牌词的SEO优化呢?
  • YY-06-04SEO排名点击器:Direct Hit算法原理及评价应用
  • YY-06-04湖南SEO:网站首页如何设计更利于SEO?
  • YY-06-04B2B站SEO:B2B站点如何应对百度细雨算法?
  • YY-06-04SEO优化思维:为什么要学习SEO思维?
  • YY-06-04百度SEO点击器:未来的SEO职业规划我们应该怎么做?
  • YY-06-04SEO推广软件:分享一个真正SEO一天赚1500元的技术
  • YY-06-04SEO顾问:白帽SEO和黑帽SEO的优化方法
  • YY-06-04重庆SEO教程:百度会给予什么样的警示呢?
  • YY-06-04SEO内容建设:网站内容另一核心底层数据策略
  • YY-06-04襄阳SEO:网站备案与不备案对SEO排名有何影响?
  • YY-06-04SEO天天网络:未来的SEO发展前途会怎么样?
  • YY-06-04重庆SEO论坛:网站内链建设技巧总结
  • YY-06-04SEO联盟:如何写一份优质的网站SEO诊断方案?
  • YY-06-04辉煌电商SEO:警惕毁灭你前途命脉的“第三只手 ”
  • YY-06-04SEO研究协会网:什么是SEO过度优化?
  • YY-06-04狼雨SEO:SEO是否就是内容营销吗?
  • 相关文章