亲，您上次观看至 03:20 处，现在为您继续播放
有事离开？不用担心!
[ 下载羽兔网APP，随时随地学习 ]
扫描下侧二维码下载APP
爬虫是什么
网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
通俗地讲，我们把互联网比作一张大蜘蛛网，每个站点资源比作蜘蛛网上的一个结点，爬虫就像一只蜘蛛，按照设计好的路线和规则在这张蜘蛛网上找到目标结点，获取资源。
为什么使用爬虫
为什么我们需要使用爬虫呢？
大家可以想象一下一个场景：你非常崇拜一个微博名人，对他的微博非常着迷，你想把他十年来微博上的每一句话摘抄下来，制作成名人语录。这个时候你怎么办呢？手动去 Ctrl+C 和 Ctrl+V 吗？这种方法确实没错，数据量小的时候我们还可以这样做，但是数据成千上万的时候你还要这样做吗？
我们再来想象另一个场景：你要做一个新闻聚合网站，每天需要定时去几个新闻网站获取最新的新闻，我们称之为 RSS 订阅。难道你会定时去各个订阅网站复制新闻吗？恐怕个人很难做到这一点吧。
上面两种场景，使用爬虫技术可以很轻易地解决问题。所以，我们可以看到，爬虫技术主要可以帮助我们做两类事情：一类是数据获取需求，主要针对特定规则下的大数据量的信息获取；另一类是自动化需求，主要应用在类似信息聚合、搜索等方面。
爬虫的分类
从爬取对象来看，爬虫可以分为通用爬虫和聚焦爬虫两类。
通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为搜索引擎和大型 Web 服务提供商采集数据。这类网络爬虫的爬取范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低。例如我们常见的百度和谷歌搜索。我们输入关键词，它们会从全网去找关键词相关的网页，并且按照一定的顺序呈现给我们。
老师这个 源码到那里下载呢，课程 资料里面没有呀
学习第35课：项目--界面展示爬取数据 2022-06-01
老师这个源码有？去那里下载呢
学习第17课：项目-模拟登录爬取 2022-05-31
你好，老师，麻烦看一下我哪里做的不对，怎么没爬出来百度的网页编码呢？
学习第4课：Response对象信息 2021-10-03
能考级吗？
学习第1课：网络爬虫介绍 2021-08-14
学习第4课：Response对象信息 2021-07-22
学习第55课：xpath运算符 2021-06-21
学习第20课：代理服务器 2021-06-18
学习第8课：百度360搜索项目 2021-06-16
学习第56课：xpath节点轴 2021-06-10
学习第32课：正则命名 2021-06-09
手机扫一扫下载羽兔网APP
您的建议让我们变的更好！
点击"我要吐槽"一吐为快！
相关推荐
14分
中级提升| 2.01万
10分
基础入门| 2.02万
3分
基础入门| 2.02万
7分
中级提升| 2.01万
41分
基础入门| 2.03万
22分
中级提升| 2万
5分
基础入门| 2万
你有10元优惠券仍未使用!
共9节
共98节
共40节
丞相
能考级吗？
2021-08-14