网络爬虫时一种按照一定的规则，（）请求万维网站并提取网络数据的程序或脚本。

搜素引擎爬取到的网页数据与浏览器得到的HTML 数据一定是不同的。

网站通过一个文件（）来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

无论是搜索引擎，还是个人或单位获取目标数据，都需要从公开网站上爬取大量数据。

Robots协议又称（）协议，用于保护网数据和敏感信息。

如果网站中没有robots.txt 文件，那么所有的网络爬虫都能访问网站上所有没有被口令保护的页面。

什么是代理IP ？

robots.txt文件是（）访问网站时要查看的第一个文件，它会限制网络爬虫的访问范围。

已抓取URL 队列记载了爬虫系统已经下载过的网页URL ，能够避免网页的重复抓取。

任何一条Disallow 记录为空，都说明该网站的所有部分都允许被访问。