,健康,养生,留学,移民,创业,汽车">

来源:互联网
更新时间:2016/12/8 15:28:57
责任编辑:李志喜
字体:

 一、Robots是什么意思?

  Robots是一个英文单词,对英语比较懂的朋友相信都知道,Robots的中文意思是机器人。而我们通常提到的主要是Robots协议,这也是搜索引擎的国际默认公约。

  二、Robots协议是什么?

  Robots协议通常被称为是爬虫协议、机器人协议,主要是在搜素引擎中会见到,其本质是网站和搜索引擎爬虫的沟通方式,用来指导搜索引擎更好地抓取网站内容,而不是作为搜索引擎之间互相限制和不正当竞争的工具。

  百度为什么称360违反Robots协议呢?主要是因为百度认为360搜素对自身产生了竞争,百度不希望自己旗下的贴吧,文库,知道,百科等网站产品,被360搜素收录,并且在Robots协议中标注屏蔽360搜素,而360直接绕过了robots协议继续采集百度旗下产品网站的信息,因此被百度起诉。

  简单的说,任何网站只要在其robots协议中加入禁止某搜索引擎访问,那么该搜索引擎就无权收录该网站的内容。相关链接:http://www.xue163.com/?u=/article/8046.html.而robots的重要性在于,一个网站有权利可以存在于互联网中,但又不被指定的搜索引擎索引放到搜索结果中,因为搜索引擎在互联网上就像国王,网站就是每个人的小家,而robots协议则是对抗国王的最后利器,正所谓“风能进雨能进国王不能进”.

  在网站中,Robots协议是一个记事本文件,我们只要将Robots.txt文件放置在网站跟目录,里边可以标注,哪些网站目录不希望被搜索引擎抓取即可,其格式如下图所示:

点击图片看大图学网 www.xue163.com
www.xue163.com true /19/197698.html report 4410 imgsrc=/article/UploadPic/2014-2/2014217125646234.jpgwidth=250height=150border=0/,一、Robots是什么意思?Robots是一个英文单词,对英语比较懂的朋友相信都知道,Robots的中文意思是机器人。而我们通常提到的主要是Robots协议,这也是搜索引擎的国际默认公约。二、Robots协议是什么?Robots协议通常被称为是爬虫协...
最近关注
首页推荐
热门图片
相关文章:
最新添加资讯
24小时热门资讯
精彩资讯
精彩推荐
热点推荐
真视界
精彩图片
社区精粹
关于本站 | 广告服务 | 手机版 | 商务合作 | 免责申明 | 招聘信息 | 联系我们
Copyright © 2004-2016 Xue163.com All Rights Reserved. 学网 版权所有
京ICP备10044368号-1 京公网安备11010802011102号
荐闻 | 学网头条知识问答 | 装修 | 作业 | 荐闻 | 学网头条精彩微信 | 新闻中心 | 软件教室 | 设计大全 | 网络相关 | 英语学习 | 开发编程 | 考试中心 | 参考范文 | 管理文库 | 营销中心 | 站长之家 | IT信息中心 | 商学院 | 数码大全 | 硬件DIY | 企业服务 | 网吧在线 | 问吧 | 百科 | 硬件知识 | 本网视点 | 文库 | 手机 | 平板 | 汽车 | 游戏 | 家电 | 精彩摄影 | 时尚科技 | 现代家居 | IT女人 | 经验 | 每日新闻 | 健康养生 | 图书馆 | 猎奇 | 精彩看点 | 图库 | 新闻中心 | 软件教室 | 设计大全 | 网络相关 | 英语学习 | 开发编程 | 考试中心 | 参考范文 | 管理文库 | 营销中心 | 站长之家 | IT信息中心 | 商学院 | 数码大全 | 硬件DIY | 企业服务 | 网吧在线 | 问吧 | 百科 | 硬件知识 | 本网视点 | 文库 | 手机 | 平板 | 汽车 | 游戏 | 家电 | 精彩摄影 | 时尚科技 | 现代家居 | IT女人 | 经验 | 每日新闻 | 健康养生 | 图书馆 | 精彩微信 | 猎奇 | 精彩看点 | 图库编程 方案 信息windows方案windows answer文档机构教育文档问答中心IT编程数码信息解决方案信息中心IT科技