SEO怎么禁止百度蜘蛛爬某个文件夹
创新互联建站导读:禁止搜索引擎抓取网站页面,最常用的就是使用robots文件,禁止百度蜘蛛爬行和抓取某个文件夹,可以用下面这段代码: User-agent: Baiduspider Disallow: wenjianjia/
吉林网站建设公司创新互联公司,吉林网站设计制作,有大型网站制作公司丰富经验。已为吉林上1000+提供企业网站建设服务。企业网站搭建\成都外贸网站建设要多少钱,请找那个售后服务好的吉林做网站的公司定做!
问题:SEO怎么禁止百度蜘蛛爬某个文件夹?
回答:禁止搜索引擎抓取网站页面,最常用的就是使用robots文件,禁止百度蜘蛛爬行和抓取某个文件夹,可以用下面这段代码:
User-agent: Baiduspider
Disallow: wenjianjia/
这里简单解释下几个字段概念:
Baiduspider:这个是百度搜索引擎蜘蛛;
Disallow:这表示禁止,不需要蜘蛛抓取;
wenjianjia/:这里替换你要禁止百度蜘蛛爬行的文件夹名,这里要注意下,如果在文件夹名称的后面加了 / ,就表示禁止抓取文件夹下面的页面,比如说www.test.com/wenjianjia/abc.html,但是www.test.com/wenjianjia/这个栏目页面还是会被抓取的。所以,想要www.test.com/wenjianjia/也不被抓取的话,就要去掉后面的 / ,也就是下面这样的代码:
User-agent: Baiduspider
Disallow: wenjianjia
关于SEO怎么禁止百度蜘蛛爬某个文件夹的问题,本文就简单的介绍到这里,总之使用robots文件是比较方便的,大家可以使用上面的代码,修改成自己的文件夹名称即可。如果要禁止两个文件夹,那就多复制一行,比如:
User-agent: Baiduspider
Disallow: wenjianjia_one/
Disallow: wenjianjia_two/
分享文章:SEO怎么禁止百度蜘蛛爬某个文件夹
URL网址:http://scyanting.com/article/epedeo.html