我们在调试网站的时候会经常性的进行一些修改，这时候如果搜索引擎对网站进行收录，对seo非常不好，有可能网站还会遭受到惩罚，那我们该怎样去做呢？ 如果用域名访问，又不想被搜索引擎收录的话那么可以根据搜索引擎通用的标准协议写一个规则，暂时阻止搜索引擎的访问，等网站正式上线发布后再去掉这个规则就可以了！具体方法如下：新建一个robots.txt文件文件内容为：User-agent:

在robots.txt文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定只收录指定的内容,这样可以保护我们网站的隐私数据和会员数据。1、为了保证整个网站的正常运行，我们需要让搜索引擎蜘蛛远离我们的的网站程序文件和后台管理文件。2、为了节省服务器的资源，我们还可以让蜘蛛不索引服务器上的数据库文件、模板文件、css文件、导航图片和背景图片等，一般的做法是将这些文件分别放到特定的文件

    robots.txt是一个纯文本文件，在robots.txt文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定只收录指定的内容,这样可以保护我们网站的隐私数据和会员数据。    当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确