问答题

【简答题】什么是通用爬虫？

答案：通用爬虫又称全网爬虫，它将爬取对象从一些种子URL扩充到整个Web上的网站，主要用途是为门户站点搜索引擎和大型Web 服...

你可能感兴趣的试题

【简答题】什么是代理IP ？

答案：代理IP就是介于用户和网站之间的第三者，即用户先将请求发送给代理IP，之后代理IP再发送到服务器。

【简答题】为了避免访问网站的频率影响爬虫的效率，应该做哪些调整呢？

答案：每抓取一个页面就休息若干秒，或者限制每天抓取的页面数量。