零基础入门学习 81款软件 3885+视频教程 APP离线学习 VIP免费学全部
PS 2021
共79节 6.71万人已学
草图大师2021
共160节 15.6万人已学
PR2020
共75节 10.46万人已学
CAD教程
共105节 30.17万人已学
3dsMax教程
共66节 4.09万人已学
C4D教程
共70节 17.16万人已学
VRay5.0教程
共27节 8.63万人已学
AE(影视)
共108节 7.11万人已学
AI教程
共132节 9.95万人已学
Rhino教程
共26节 3.39万人已学
Python教程
共93节 3.62万人已学
solidworks教程
共72节 6.65万人已学
Keyshot教程
共61节 3.5万人已学
Revit教程
共34节 3.26万人已学
更多热门软件>
亲,您上次观看至 03:20 处,现在为您继续播放
恭喜您学完本小节
重播
好评
收藏
分享
点击免费学习
有事离开?不用担心!
[ 下载羽兔网APP,随时随地学习 ]
扫描下侧二维码下载APP
爬虫是什么
网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
通俗地讲,我们把互联网比作一张大蜘蛛网,每个站点资源比作蜘蛛网上的一个结点,爬虫就像一只蜘蛛,按照设计好的路线和规则在这张蜘蛛网上找到目标结点,获取资源。
为什么使用爬虫
为什么我们需要使用爬虫呢?
大家可以想象一下一个场景:你非常崇拜一个微博名人,对他的微博非常着迷,你想把他十年来微博上的每一句话摘抄下来,制作成名人语录。这个时候你怎么办呢?手动去 Ctrl+C 和 Ctrl+V 吗?这种方法确实没错,数据量小的时候我们还可以这样做,但是数据成千上万的时候你还要这样做吗?
我们再来想象另一个场景:你要做一个新闻聚合网站,每天需要定时去几个新闻网站获取最新的新闻,我们称之为 RSS 订阅。难道你会定时去各个订阅网站复制新闻吗?恐怕个人很难做到这一点吧。
上面两种场景,使用爬虫技术可以很轻易地解决问题。所以,我们可以看到,爬虫技术主要可以帮助我们做两类事情:一类是数据获取需求,主要针对特定规则下的大数据量的信息获取;另一类是自动化需求,主要应用在类似信息聚合、搜索等方面。
爬虫的分类
从爬取对象来看,爬虫可以分为通用爬虫和聚焦爬虫两类。
通用网络爬虫又称全网爬虫(Scalable Web Crawler),爬行对象从一些种子 URL 扩充到整个 Web,主要为搜索引擎和大型 Web 服务提供商采集数据。这类网络爬虫的爬取范围和数量巨大,对于爬行速度和存储空间要求较高,对于爬行页面的顺序要求相对较低。例如我们常见的百度和谷歌搜索。我们输入关键词,它们会从全网去找关键词相关的网页,并且按照一定的顺序呈现给我们。
老师这个 源码到那里下载呢,课程 资料里面没有呀
学习第35课:项目--界面展示爬取数据 2022-06-01
2022-06-02
老师这个源码有?去那里下载呢
学习第17课:项目-模拟登录爬取 2022-05-31
2022-06-02
你好,老师,麻烦看一下我哪里做的不对,怎么没爬出来百度的网页编码呢?
学习第4课:Response对象信息 2021-10-03
2021-10-19
能考级吗?
学习第1课:网络爬虫介绍 2021-08-14
2021-08-23
学习第4课:Response对象信息 2021-07-22
学习第55课:xpath运算符 2021-06-21
学习第20课:代理服务器 2021-06-18
学习第8课:百度360搜索项目 2021-06-16
学习第56课:xpath节点轴 2021-06-10
学习第32课:正则命名 2021-06-09
12分39秒 免费学
10分 免费学
9分5秒 免费学
10分50秒 VIP免费学
5分59秒 VIP免费学
13分 VIP免费学
10分14秒 VIP免费学
8分54秒 VIP免费学
12分38秒 VIP免费学
6分10秒 VIP免费学
16分22秒 VIP免费学
8分40秒 VIP免费学
11分7秒 VIP免费学
5分21秒 VIP免费学
11分11秒 VIP免费学
7分 VIP免费学
10分8秒 VIP免费学
8分57秒 VIP免费学
10分16秒 VIP免费学
10分35秒 VIP免费学
13分31秒 VIP免费学
10分25秒 VIP免费学
12分13秒 VIP免费学
9分36秒 VIP免费学
11分5秒 VIP免费学
7分43秒 VIP免费学
10分24秒 VIP免费学
11分58秒 VIP免费学
7分55秒 VIP免费学
10分28秒 VIP免费学
9分52秒 VIP免费学
11分11秒 VIP免费学
10分49秒 VIP免费学
7分 VIP免费学
9分2秒 VIP免费学
10分29秒 VIP免费学
8分56秒 VIP免费学
9分35秒 VIP免费学
7分31秒 VIP免费学
11分17秒 VIP免费学
15分45秒 VIP免费学
10分27秒 VIP免费学
10分21秒 VIP免费学
12分50秒 VIP免费学
10分57秒 VIP免费学
11分13秒 VIP免费学
9分1秒 VIP免费学
13分37秒 VIP免费学
12分27秒 VIP免费学
6分30秒 VIP免费学
16分12秒 VIP免费学
11分21秒 VIP免费学
16分55秒 VIP免费学
9分36秒 VIP免费学
解锁本课程
开通电脑办公VIP相关推荐
中级提升| 2.01万
基础入门| 2.02万
基础入门| 2.02万
中级提升| 2.01万
基础入门| 2.03万
中级提升| 2万
基础入门| 2万
丞相
能考级吗?
2021-08-14