dede模板的robots文件如何设置，robots文件的作用是什么？

今天废话不多说，直接给大家讲解下dede模板的robots文件如何设置他的作用是什么。网站通过robots协议告诉蜘蛛引擎你的网站，哪些页面可以抓取，哪些页面不可以抓取。

它存在的原理就是引导蜘蛛爬行，减少蜘蛛引擎的的工作量。当搜索引擎访问网站时，他会首先检查服务器的根目录是否有这个文件的存在，从而按照这个文件的内容来确定爬行的轨迹，如果你的网站没有设置这个文件，那么所有的蜘蛛和用户都将可以访问你的不保护页面。

常规写法Dede：

User-agent: *

Disallow: /404/

Disallow: /images/

Disallow: /include/

Disallow: /member/

Disallow: /plus/

Disallow: /skin/

Disallow: /special/

Disallow: /templets/

Sitemap: http://www.xxxxxxxxx.com/sitemap.xml

这个算法就是告诉蜘蛛，用户在前端能看到的东西。为什么文件中前面会加上Disallow，也就是说只要是加上了Disallow的，不允许蜘蛛引擎来翻看。为什么不让用户看到你后端的结构。

简单点说,比如用户在看电子手表，但是，他们只会看到手表的外部光鲜华丽亦或者富有金属感科技感，却不会看到内部存在的复杂结构。

这个文件看起来非常简单，但是也是非常非重要的，甚至是致命的。通常搜索引擎对网站派出的蜘蛛是具体的数量的，网站的大小决定搜索引擎为之放出多少蜘蛛。

如果我们不配置robots文件，那么蜘蛛来到网站以后会无目的的爬行，造成的一个结果就是，需要它爬行的目录，没有爬行到，不需要爬行的，也就是我们不想被收录的内容却被爬行并放出快照。

所以robots文件对于我们做SEO行业来说具有很重要的影响。好了以上就是dede模板的robots文件设置方法及其作用。