如果网站中没有robots.txt 文件，那么所有的网络爬虫都能访问网站上所有没有被口令保护的页面。

当网络爬虫访问网站时，会优先检查该站点的根目录下是否存在（）文件。

网络爬虫程序只能使用python 语言进行开发。

有些网页对于爬虫来说是无法抓取到的，这部分网页构成了可知网页集合。

什么是网络爬虫？

只要将User-agent 设为知名的用户代理，爬虫就能够成功地伪装成浏览器。

通用网路爬虫会访问与预定主题相关的网页。

爬虫可以按照一定的规则，手动请求万维网网站的数据。

网站通过一个文件（）来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

为了方便网站管理员通知爬虫更新网站的内容，网站提供了（）文件。