创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商，新人活动买多久送多久，划算不套路！

创新互联公司主要业务有网站营销策划、网站制作、成都网站建设、微信公众号开发、微信小程序开发、HTML5、程序开发等业务。一次合作终身朋友，是我们奉行的宗旨；我们不仅仅把客户当客户，还把客户视为我们的合作伙伴，在开展业务的过程中，公司还积累了丰富的行业经验、网络营销推广资源和合作伙伴关系资源，并逐渐建立起规范的客户服务和保障体系。 

虚拟主机如何禁止蜘蛛访问？很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。

虚拟主机组织蜘蛛访问，可以使用robots协议来实现。robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

我们在管理虚拟主机时，有些情况下，不希望搜索引擎蜘蛛来访问我们的内容，这时，我们需要编写一个爬虫协议，禁止搜索引擎来抓取数据。或者是禁止部分搜索引擎爬虫来访，而允许其他搜索引擎。都是可以通过robots文件实现。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

虚拟主机阻止蜘蛛访问，比如禁止全部搜索引擎来访时，可以如下编写：

User-agent: *
Disallow: /

虚拟主机阻止某个蜘蛛访问时，可以如下编写：

User-agent: xxxspider
Disallow:/

虚拟主机阻止某个目录被蜘蛛访问时，可以如下编写：

User-agent: *

Disallow: /admin/

即表示/admin/目录，所有搜索引擎都不得来访问。

看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注创新互联-成都网站建设公司行业资讯频道，感谢您对创新互联的支持。

网站栏目：虚拟主机如何禁止蜘蛛访问-创新互联
标题路径：http://scyanting.com/article/gcejo.html