网络爬虫介绍【效率提升视频教程】

亲，您上次观看至 03:20 处，现在为您继续播放



点击免费学习

有事离开？不用担心!

[ 下载羽兔网APP，随时随地学习 ]

扫描下侧二维码下载APP

收藏下载

扫一扫，下载APP

离线缓存省流量观看

电脑办公

Python爬虫零基础入门教程

潮享李老师

潮享教育金牌讲师

+关注

课程目录(/60)
课程笔记

我要评论 APP学习

扫一扫，APP继续学

扫码下载/打开羽兔APP

支持离线下载

随时随地学

全站VIP季卡

￥69.00/3个月

原价：￥109.00

付款金额：￥69

微信支付

支付宝支付

支付即同意《VIP会员服务协议》

Tips：每个账号仅限购买1次全站通季卡VIP

课程介绍
课程目录(60)
课程资料(1)
答疑交流(33)
离线下载

开通全站通VIP，畅学全站任意课程

课程参数

分类： 电脑办公 使用软件： python 难度： 基础入门 课时： 60节（已完结） 时长： 10时39分33秒

爬虫是什么
网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
通俗地讲，我们把互联网比作一张大蜘蛛网，每个站点资源比作蜘蛛网上的一个结点，爬虫就像一只蜘蛛，按照设计好的路线和规则在这张蜘蛛网上找到目标结点，获取资源。

为什么使用爬虫
为什么我们需要使用爬虫呢？
大家可以想象一下一个场景：你非常崇拜一个微博名人，对他的微博非常着迷，你想把他十年来微博上的每一句话摘抄下来，制作成名人语录。这个时候你怎么办呢？手动去 Ctrl+C 和 Ctrl+V 吗？这种方法确实没错，数据量小的时候我们还可以这样做，但是数据成千上万的时候你还要这样做吗？
我们再来想象另一个场景：你要做一个新闻聚合网站，每天需要定时去几个新闻网站获取最新的新闻，我们称之为 RSS 订阅。难道你会定时去各个订阅网站复制新闻吗？恐怕个人很难做到这一点吧。
上面两种场景，使用爬虫技术可以很轻易地解决问题。所以，我们可以看到，爬虫技术主要可以帮助我们做两类事情：一类是数据获取需求，主要针对特定规则下的大数据量的信息获取；另一类是自动化需求，主要应用在类似信息聚合、搜索等方面。

爬虫的分类
从爬取对象来看，爬虫可以分为通用爬虫和聚焦爬虫两类。
通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为搜索引擎和大型 Web 服务提供商采集数据。这类网络爬虫的爬取范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低。例如我们常见的百度和谷歌搜索。我们输入关键词，它们会从全网去找关键词相关的网页，并且按照一定的顺序呈现给我们。