为了方便网站管理员通知爬虫更新网站的内容，网站提供了（）文件。

通用网路爬虫会访问与预定主题相关的网页。

Robots协议又称（）协议，用于保护网数据和敏感信息。

任何一条Disallow 记录为空，都说明该网站的所有部分都允许被访问。

什么是通用爬虫？

网络爬虫程序只能使用python 语言进行开发。

浏览器在访问网站时会携带（），向网站表明自己的真实身份。

robots.txt文件必须放置在一个站点的（）目录下，且文件名必须小写。

如果某个URL 还未抓取过，则这个URL 会放入到待抓取URL 队列中。

搜索引擎只能抓取HTML 文件，不能抓取其它类型的文件。