在robots.txt文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定只收录指定的内容,这样可以保护我们网站的隐私数据和会员数据。

1、为了保证整个网站的正常运行，我们需要让搜索引擎蜘蛛远离我们的的网站程序文件和后台管理文件。
2、为了节省服务器的资源，我们还可以让蜘蛛不索引服务器上的数据库文件、模板文件、css文件、导航图片和背景图片等，一般的做法是将这些文件分别放到特定的文件夹中，然后利用disallow语法进行阻止。
3、为了防止一些垃圾搜索引擎对我们的网站无限制的抓取，而导致网站服务器性能的降低的情况的发生，我们可以指定某些蜘蛛可以抓取网站的内容，而某些蜘蛛不能抓取网站的内容。
4、合理的使用robots.txt文档，可以避免用户从搜索引擎进入网站后台未进行登陆便可以进行操作，例如购物车页面、会员管理页面等必须进行登陆后才可以正常使用的页面。
5、有些情况下，我们的网站是使用rewrite方式进行伪静态的，因此有两个访问地址，这时为了节约服务器资源，我们可以使用robots.txt文件来防止搜索引擎来抓取动态页面，只允许其抓取静态页面。
6、如果实在不会robots.txt语法，我们则可以直接在网站根目录下上传一个空的文本文档，命令全不是小写的robots.txt。

robots.txt文件在SEO优化中占据着重要的地位，而且对网站服务器的性能优化有很大的帮助，因此我们一定要学会合理的去运用。

robots语法介绍和标签说明。http://www.wlyxe.cn/seo/robots.html