【工作实战视频教程】网络爬虫介绍

亲，您上次观看至 03:20 处，现在为您继续播放



点击免费学习

有事离开？不用担心!

[ 下载羽兔网APP，随时随地学习 ]

扫描下侧二维码下载APP

立即开通VIP>

电脑办公

Python爬虫零基础入门教程

软件入门入门

课程介绍
答疑交流(18)
练习题(1)
课程目录(60)

爬虫是什么
网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
通俗地讲，我们把互联网比作一张大蜘蛛网，每个站点资源比作蜘蛛网上的一个结点，爬虫就像一只蜘蛛，按照设计好的路线和规则在这张蜘蛛网上找到目标结点，获取资源。

为什么使用爬虫
为什么我们需要使用爬虫呢？
大家可以想象一下一个场景：你非常崇拜一个微博名人，对他的微博非常着迷，你想把他十年来微博上的每一句话摘抄下来，制作成名人语录。这个时候你怎么办呢？手动去 Ctrl+C 和 Ctrl+V 吗？这种方法确实没错，数据量小的时候我们还可以这样做，但是数据成千上万的时候你还要这样做吗？
我们再来想象另一个场景：你要做一个新闻聚合网站，每天需要定时去几个新闻网站获取最新的新闻，我们称之为 RSS 订阅。难道你会定时去各个订阅网站复制新闻吗？恐怕个人很难做到这一点吧。
上面两种场景，使用爬虫技术可以很轻易地解决问题。所以，我们可以看到，爬虫技术主要可以帮助我们做两类事情：一类是数据获取需求，主要针对特定规则下的大数据量的信息获取；另一类是自动化需求，主要应用在类似信息聚合、搜索等方面。

爬虫的分类
从爬取对象来看，爬虫可以分为通用爬虫和聚焦爬虫两类。
通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为搜索引擎和大型 Web 服务提供商采集数据。这类网络爬虫的爬取范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低。例如我们常见的百度和谷歌搜索。我们输入关键词，它们会从全网去找关键词相关的网页，并且按照一定的顺序呈现给我们。

答疑交流

课程评分：

本节评论(1)

丞相

能考级吗？

2021-08-14

潮享李老师讲师回复:

考级需要看二级python课程。

2021-08-23

全部评论(18)

丞相

能考级吗？

学习第1课：网络爬虫介绍 2021-08-14

潮享李老师讲师回复:

考级需要看二级python课程。

2021-08-23

Healer️

还不错，受益

学习第4课：Response对象信息 2021-07-22

槑 ⁸¹

学会了，谢谢老师，感觉现在学东西比以前在学校的时候学的快多了，是我现在变聪明了吗

学习第55课：xpath运算符 2021-06-21

狐尔摩斯

好详细啊，爱了！

学习第20课：代理服务器 2021-06-18

薛定谔的猫

学就完事了，慢慢学习。

学习第8课：百度360搜索项目 2021-06-16

我陪你疯.

喜欢。慢慢的就不会觉得累了

学习第56课：xpath节点轴 2021-06-10

寻宝游戏

还行，能学上

学习第32课：正则命名 2021-06-09

洋姜

太喜欢这个老师了

学习第37课：创建html及标签信息详解 2021-06-07

夏baba

干货真的是好多，也很实用，谢谢老师的分享。

学习第53课：xpath常用规则1 2021-06-07

迟暮.

爱了爱了放假后来学

学习第46课：bs4获取标准格式 2021-06-06

我要发表

练习题

教程配套文件，一站式便捷学习，我们会不定时更新上传新的配套文件

配套练习题

零基础python爬虫练习题课件下载

课程目录

第一章：爬虫介绍

第二章：爬虫项目实战

第三章：正则表达式

第四章：疫情数据爬取

第五章：解析html

第六章： Xpath解析

潮享李老师

潮享教育金牌讲师

+关注

目录
信息
笔记

全站通VIP

全站终身VIP

昵称

亲，恭喜您完成本节学习， 5 秒后自动播放下一节~

大家还在学：

亲，您没有权限播放, 要开通VIP才能学习哦~

确定学习吗？

确定学习吗？