为了避免访问网站的频率影响爬虫的效率，应该做哪些调整呢？

网站通过一个文件（）来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

网络爬虫时一种按照一定的规则，（）请求万维网站并提取网络数据的程序或脚本。

爬虫可以按照一定的规则，手动请求万维网网站的数据。

如果某个URL 还未抓取过，则这个URL 会放入到待抓取URL 队列中。

任何一条Disallow 记录为空，都说明该网站的所有部分都允许被访问。

浏览器在访问网站时会携带（），向网站表明自己的真实身份。

爬虫需要遵循有礼貌的原则，这样才能与更多的网站建立友好关系。

网站通过robots.txt 文件可以限定网络爬虫的访问范围。

搜素引擎爬取到的网页数据与浏览器得到的HTML 数据一定是不同的。