多项选择题按照使用场景,可以将爬虫划分为哪几种?()
A.表层爬虫
B.聚焦网络爬虫
C.通用网络爬虫
D.深层爬虫
您可能感兴趣的试卷
你可能感兴趣的试题
1.多项选择题下列选项中,属于应对反爬虫策略的是()
A.降低访问频率
B.使用代理ip
C.识别验证码
D.伪装User-agent
2.多项选择题下列选项中,属于URL 的组成元素的是()
A.IP地址
B.服务器
C.路径
D.协议头
3.多项选择题关于聚焦爬虫的工作原理,下列描述正确的是()
A.根据一定的搜索策略,从URL 队列中选择下一步要抓取的网页URL
B.我们需要根据爬取需求定义聚焦爬虫的爬取目标,并进行相关的描述
C.聚焦爬虫会根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接
D.有用的链接会放入等待抓取的URL 队列
4.单项选择题下列选项中,用于在robots.txt 文件中描述搜索引擎名字的是()
A.Disallow
B.Allow
C.accept
D.User-agent
5.单项选择题用于robots.txt 文件中,标记不允许的是()
A.disallow
B.User-agent
C.allow
6.单项选择题下列选项中,被称为主题网络爬虫的是()
A.聚焦网络爬虫
B.深层网络爬虫
C.通用网络爬虫
D.增量式网络爬虫
7.单项选择题下列数据中,能够被网络爬虫抓取的是()
A.互联网非公开信息
B.网站后台信息
C.互联网公开的且可访问到的信息
D.用户的注册信息
最新试题
网络爬虫时一种按照一定的规则,()请求万维网站并提取网络数据的程序或脚本。
题型:填空题
浏览器在访问网站时会携带(),向网站表明自己的真实身份。
题型:填空题
网络爬虫的基本流程包括抓取网页数据、()、存储数据。
题型:填空题
网站通过robots.txt 文件可以限定网络爬虫的访问范围。
题型:判断题
Robots.txt协议可以限制爬虫程序采集某些网页的数据。
题型:判断题
如果某个URL 还未抓取过,则这个URL 会放入到待抓取URL 队列中。
题型:判断题
Robots协议又称()协议,用于保护网数据和敏感信息。
题型:填空题
搜索引擎只能抓取HTML 文件,不能抓取其它类型的文件。
题型:判断题
如果数据市场上没有需要的数据,那么可以利用()技术抓取网站上的数据。
题型:填空题
为了避免访问网站的频率影响爬虫的效率,应该做哪些调整呢?
题型:问答题