为了方便网站管理员通知爬虫更新网站的内容，网站提供了（）文件。

搜索引擎只能抓取HTML 文件，不能抓取其它类型的文件。

网络爬虫时一种按照一定的规则，（）请求万维网站并提取网络数据的程序或脚本。

浏览器在访问网站时会携带（），向网站表明自己的真实身份。

有些网页对于爬虫来说是无法抓取到的，这部分网页构成了可知网页集合。

任何网站都会定义robots.txt 文件，能够让爬虫了解爬取网站存在着哪些限制。

如果某个URL 还未抓取过，则这个URL 会放入到待抓取URL 队列中。

什么是网络爬虫？

为了避免访问网站的频率影响爬虫的效率，应该做哪些调整呢？

网络爬虫是一个模拟真人浏览互联网行为的程序。