什么是网络爬虫？

问答题什么是网络爬虫？

1.问答题请简述robots.txt 文件的作用。

2.问答题请简述聚焦爬虫抓取网页的流程。

3.问答题为什么选择Python 作为爬虫的实现语言？

4.多项选择题按照使用场景，可以将爬虫划分为哪几种？（）

A.表层爬虫
B.聚焦网络爬虫
C.通用网络爬虫
D.深层爬虫

5.多项选择题下列选项中，属于应对反爬虫策略的是（）

A.降低访问频率
B.使用代理ip
C.识别验证码
D.伪装User-agent

6.多项选择题下列选项中，属于URL 的组成元素的是（）

A.IP地址
B.服务器
C.路径
D.协议头

7.多项选择题关于聚焦爬虫的工作原理，下列描述正确的是（）

A.根据一定的搜索策略，从URL 队列中选择下一步要抓取的网页URL
B.我们需要根据爬取需求定义聚焦爬虫的爬取目标，并进行相关的描述
C.聚焦爬虫会根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接
D.有用的链接会放入等待抓取的URL 队列

8.单项选择题下列选项中，用于在robots.txt 文件中描述搜索引擎名字的是（）

A.Disallow
B.Allow
C.accept
D.User-agent

9.单项选择题用于robots.txt 文件中，标记不允许的是（）

A.disallow
B.User-agent
C.allow

10.单项选择题下列选项中，被称为主题网络爬虫的是（）

A.聚焦网络爬虫
B.深层网络爬虫
C.通用网络爬虫
D.增量式网络爬虫