山西网站制作公司飞网设计logo
山西网站设计电话13313435212
网站主页  |  关于我们  |  业务介绍  |  飞网优势  |  建站专题  |  网络推广  |  建站案例  |  推广案例  |  营销知识  |  建站知识  |  联系我们
飞网设计 --> 资讯 --> 建站知识 --> 正文
特别赞助:山西纯铁
如何设置robots.txt不让搜索引擎抓取网站内容?
发布时间:2022/12/12 20:51:25   来源:飞网设计    浏览次数:663

robots协议也称爬虫协议、爬虫规则等,是指网站可建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,而搜索引擎则通过读取robots.txt文件来识别这个页面是否允许被抓取。但是,这个robots协议不是防火墙,也没有强制执行力,搜索引擎完全可以忽视robots.txt文件去抓取网页的快照。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据(Metadata,又称元数据)。

Robots协议是国际互联网界通行的道德规范,基于以下原则建立:
1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;
2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

robots.txt 禁止百度蜘蛛抓取,robots.txt内容如下:
User-agent: Baiduspider
Disallow: /

禁止所有搜索引擎访问网站的任何部分,robots.txt内容如下:
User-agent: *
Disallow: / 


· 建站知识最近更新
· 36.99.136.*和111.7.100.*这两 · Windows和Linux服务器的优缺点各有哪些?
· 网站可以同时使用UTF-8与GB2312两种编码吗 · 影响网站开发费用的重要因素
· hugo才真是写作工具该有的样子 · 什么是网站快排?快排原理揭秘
· 新手站长和小微企业怎么选择网站空间? · 怎么制作网站 个人快速建站
· 企业网站的建设不应该是纯粹的模仿 · 友情链接对网站有哪些作用?
· 什么是域名解析?如何操作? · 网站建设时导航设计至关重要

◆ 联系方式 CONTACT
www.net-360.cn
QQ:94589848
c141@163.com

  本站热门资讯
· 飞网设计简单网站特价网站定做中
· 普通企业网站制作费用1600元起
· 企业商城网站制作4000元起
· 做网站就送400电话,买400电话就送简单网站
· 手机拍摄身份证等证件的操作方法
· 无本创业 寻找各县网站建设业务合作伙伴
· 花钱做了企业网站,为什么每年还需要续费?
· 如收到公安系统备案的短信或邮件请配合
· 什么样的网站建设才能赚钱
· 飞网设计公司主要网络服务一览

网站简介  |  飞网优势  |  网站优化  |  建站流程  |  赠送服务  |  虚拟主机  |  域名注册  |  网站留言  |  联系我们
飞网设计专注方向:网站设计、网络推广、企业短信。山西网站制作、山西做网站选择飞网设计!
飞网设计公众号
业务咨询:0351-7023 010  手机:133-1343-5212  地址:太原市长风西街(和平南路口西南)长风世纪广场C座1603号   QQ:94589848
飞网设计 版权所有 2005-2020 NET-360.CN