”也有很多人并不知道爬虫禁用协议（robots exclusion protocol），他们认为可以通过在页面上声明“本页面受版权保护，拒绝索引”就可以保护页面，不用说，网络爬虫很难理解这样的话。
基于284个网页-相关网页
robots协议即网络爬虫排除标准（robots exclusion protocol），也称为爬虫协议，搜索引擎根据网站设置的robots协议抓取可以被抓取的页面，对于不可以被抓取的页面，搜索引擎不抓取。
基于149个网页-相关网页
...该把它上传在何处，接下来您会学习在这个文件中键入命令，搜索引擎会遵循壹个叫做“机器人排除协议”(Robots Exclusion Protocol)的协议。其实，它的格式很简单，并且能够满足大多数的控制需要。
基于138个网页-相关网页
the robots exclusion protocol 止协议 ; 机器人排除协议
the robots exclusion protocol detail 一些人不知道网络搜索机器人避免协议
应用推荐