我们在调试网站的时候会经常性的进行一些修改，这时候如果搜索引擎对网站进行收录，对seo非常不好，有可能网站还会遭受到惩罚，那我们该怎样去做呢？
 如果用域名访问，又不想被搜索引擎收录的话那么可以根据搜索引擎通用的标准协议写一个规则，暂时阻止搜索引擎的访问，等网站正式上线发布后再去掉这个规则就可以了！具体方法如下：

新建一个robots.txt文件
文件内容为：

User-agent: *

Disallow: /

这是大部份网络漫游器都会遵守的标准协议，上述代码的意思是 阻止所有搜索引擎访问我们的网站，加入这些协议后，它们将不会再漫游您的网络服务器或目录。

不过当我们网站调试完毕之后，记得把这个文件删除或修改，具体的修改内容可以参考我的 一下文章
 

设置robots文档的意义和注意的问题介绍
 

robots文档的语法介绍和标签说明
 

设置完robots.txt文件之后，记得在向百度、谷歌等搜索引擎申请，让他们收录你的网站，具体操作请参照一下文章：

向Google、Yahoo、MSN和百度等提交Sitemap网站地图的方法介绍

希望阿东能够帮助到你。