今天废话不多说,直接给大家讲解下dede模板的robots文件如何设置他的作用是什么。网站通过robots协议告诉蜘蛛引擎你的网站,哪些页面可以抓取,哪些页面不可以抓取。
它存在的原理就是引导蜘蛛爬行,减少蜘蛛引擎的的工作量。当搜索引擎访问网站时,他会首先检查服务器的根目录是否有这个文件的存在,从而按照这个文件的内容来确定爬行的轨迹,如果你的网站没有设置这个文件,那么所有的蜘蛛和用户都将可以访问你的不保护页面。
常规写法Dede:
User-agent: *
Disallow: /404/
Disallow: /images/
Disallow: /include/
Disallow: /member/
Disallow: /plus/
Disallow: /skin/
Disallow: /special/
Disallow: /templets/
Sitemap: http://www.xxxxxxxxx.com/sitemap.xml
这个算法就是告诉蜘蛛,用户在前端能看到的东西。为什么文件中前面会加上Disallow,也就是说只要是加上了Disallow的,不允许蜘蛛引擎来翻看。为什么不让用户看到你后端的结构。
简单点说,比如用户在看电子手表,但是,他们只会看到手表的外部光鲜华丽亦或者富有金属感科技感,却不会看到内部存在的复杂结构。
这个文件看起来非常简单,但是也是非常非重要的,甚至是致命的。通常搜索引擎对网站派出的蜘蛛是具体的数量的,网站的大小决定搜索引擎为之放出多少蜘蛛。
如果我们不配置robots文件,那么蜘蛛来到网站以后会无目的的爬行,造成的一个结果就是,需要它爬行的目录,没有爬行到,不需要爬行的,也就是我们不想被收录的内容却被爬行并放出快照。
所以robots文件对于我们做SEO行业来说具有很重要的影响。好了以上就是dede模板的robots文件设置方法及其作用。
- 微信赞赏老师
- 互联网营销培训课程
-
- 苏春宇微信号
- 183 6469 9738(手机)
-