许多SEO新手不仅不知道如何使用robots，甚至不明白什么是robots文件，但需要指出的是，许多网站由于没有设置好该文件，导致排名很不理想，所以该文件对于优化网站非常重要。因为很多人不明白其中的道理，下面小编为大家详细介绍。

　　1.站点优化是为了避免重复或类似的页面，而搜索引擎浏览一个站点不像人，它依赖于蜘蛛爬行。但是很多人不注意的是当前主流的网站程序容易自动生成一些无用的页面，比如缓存页面、搜索页面、feed页面等，这些页面往往与主体内容重复，而且没有用处，如果被蜘蛛不小心抓到，那么网站排名就会受到严重影响。很多网站没有排名，往往都是因为搜索引擎发现网站有很多重复或相似的页面。

　　2.搜索引擎喜欢原创内容，这是众所周知的，一方面不单单指网站文章的原创性，另一方面，网站模板的原创度也是非常重要的评分点，所以如果你的网站模板不是原创的，最好屏蔽CSS目录和模板目录。

　　3.使用robots文件可以用来屏蔽一些无用的页面，如隐私页面、后台登录页面、图像目录和其他内容，或者屏蔽一些其他与站点关键字无关的页面。

　　4.可以大大提高蜘蛛网站的爬行效率，与网站的内链有着同样的目的，帮助搜索引擎了解网站最重要的内容是什么，不再浪费在其他无用的页面上。

　　简而言之，robots文件是网站优化的一个非常重要的部分，这方面往往制约着网站的成败，当然，这是网站优化的一个非常详细的方面，但往往细节决定成败，很多人没有意识到这一点，我希望通过以上的介绍，大家都会明白这一点的重要性。