如果网站中没有robots.txt 文件，那么所有的网络爬虫都能访问网站上所有没有被口令保护的页面。

Robots.txt协议可以限制爬虫程序采集某些网页的数据。

搜索引擎只能抓取HTML 文件，不能抓取其它类型的文件。

爬虫可以按照一定的规则，手动请求万维网网站的数据。

网络爬虫时一种按照一定的规则，（）请求万维网站并提取网络数据的程序或脚本。

什么是代理IP ？

网站通过一个文件（）来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

请简述使用网络爬虫的好处。

爬虫需要遵循有礼貌的原则，这样才能与更多的网站建立友好关系。

浏览器在访问网站时会携带（），向网站表明自己的真实身份。