课程
全部 课程 软件 问答 文章

VIP
全站通VIP

全站11374视频课程无限学习

全站练习题、配套资料无限下载
全站终身VIP

终身不限次数，学全站会员课程

一次付费，终身受益
软件入门VIP 电商设计VIP UI设计VIP 室内设计VIP 视频动画VIP 电脑办公VIP

手机端

羽兔网APP
羽兔网首页 > 电脑办公 > 工作实战 >

Python爬虫零基础入门教程-网络爬虫介绍

亲，您上次观看至 03:20 处，现在为您继续播放

Python爬虫零基础入门教程

点击免费学习

有事离开？不用担心!

[ 下载羽兔网APP，随时随地学习 ]

扫描下侧二维码下载APP

分享 收藏 手机观看

下载手机APP，随时随地学习
立即开通VIP>
电脑办公

Python爬虫零基础入门教程

入门

爬虫是什么
网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
通俗地讲，我们把互联网比作一张大蜘蛛网，每个站点资源比作蜘蛛网上的一个结点，爬虫就像一只蜘蛛，按照设计好的路线和规则在这张蜘蛛网上找到目标结点，获取资源。


为什么使用爬虫
为什么我们需要使用爬虫呢？
大家可以想象一下一个场景：你非常崇拜一个微博名人，对他的微博非常着迷，你想把他十年来微博上的每一句话摘抄下来，制作成名人语录。这个时候你怎么办呢？手动去 Ctrl+C 和 Ctrl+V 吗？这种方法确实没错，数据量小的时候我们还可以这样做，但是数据成千上万的时候你还要这样做吗？
我们再来想象另一个场景：你要做一个新闻聚合网站，每天需要定时去几个新闻网站获取最新的新闻，我们称之为 RSS 订阅。难道你会定时去各个订阅网站复制新闻吗？恐怕个人很难做到这一点吧。
上面两种场景，使用爬虫技术可以很轻易地解决问题。所以，我们可以看到，爬虫技术主要可以帮助我们做两类事情：一类是数据获取需求，主要针对特定规则下的大数据量的信息获取；另一类是自动化需求，主要应用在类似信息聚合、搜索等方面。


爬虫的分类
从爬取对象来看，爬虫可以分为通用爬虫和聚焦爬虫两类。
通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为搜索引擎和大型 Web 服务提供商采集数据。这类网络爬虫的爬取范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低。例如我们常见的百度和谷歌搜索。我们输入关键词，它们会从全网去找关键词相关的网页，并且按照一定的顺序呈现给我们。

Python爬虫零基础入门教程

答疑交流
课程评分：   
评论/提交作业 我要提问

0 / 140

本节评论(1)

丞相

能考级吗？


2021-08-14

回复
赞

潮享李老师 讲师 回复:

考级需要看二级python课程。

2021-08-23

回复
赞

全部评论(19)

冷星

你好，老师，麻烦看一下我哪里做的不对，怎么没爬出来百度的网页编码呢？

学习第4课：Response对象信息 2021-10-03

回复
赞

潮享李老师 讲师 回复:

你截图的窗口里面下面部分就是你获取的网页代码内容

2021-10-19

回复
赞

丞相

能考级吗？


学习第1课：网络爬虫介绍 2021-08-14

回复
赞

潮享李老师 讲师 回复:

考级需要看二级python课程。

2021-08-23

回复
赞

Healer️

还不错，受益

学习第4课：Response对象信息 2021-07-22

回复
赞

槑 ⁸¹

学会了，谢谢老师，感觉现在学东西比以前在学校的时候学的快多了，是我现在变聪明了吗

学习第55课：xpath运算符 2021-06-21

回复
赞

狐尔摩斯

好详细啊，爱了！

学习第20课：代理服务器 2021-06-18

回复
赞

薛定谔的猫

学就完事了，慢慢学习。

学习第8课：百度360搜索项目 2021-06-16

回复
赞

我陪你疯.

喜欢。慢慢的就不会觉得累了

学习第56课：xpath节点轴 2021-06-10

回复
赞

寻宝游戏

还行，能学上

学习第32课：正则命名 2021-06-09

回复
赞

洋姜

太喜欢这个老师了

学习第37课：创建html及标签信息详解 2021-06-07

回复
赞

夏baba

干货真的是好多，也很实用，谢谢老师的分享。

学习第53课：xpath常用规则1 2021-06-07

回复
赞
我要发表
练习题
教程配套文件，一站式便捷学习，我们会不定时更新上传新的配套文件
配套练习题
零基础python爬虫练习题课件 下载
课程目录
第一章： 爬虫介绍
第二章： 爬虫项目实战
第三章： 正则表达式
第四章： 疫情数据爬取
第五章： 解析html
第六章： Xpath解析
离线下载
羽兔APP
支持离线缓存下载，随时随地，想学就学

手机扫一扫下载羽兔网APP

APP太难用，想吐槽？

您的建议让我们变的更好！
点击"我要吐槽"一吐为快！

常用软件 文章资讯 羽兔问答
es文件浏览器v4.2.2.5【ES安卓本地和网络文件管理器】绿色版 安装教程
Articulate Storyline3【网络课件制作软件】简体中文破解版 安装教程
Burp Suite2020【BP2020网络安全测试软件】破解版 安装教程
es文件浏览器v4.2.2.5【ES安卓本地和网络文件管理器】绿色版 安装教程
Articulate Storyline3【网络课件制作软件】简体中文破解版 安装教程
Burp Suite2020【BP2020网络安全测试软件】破解版 安装教程
Python爬虫零基础入门教程
潮享李老师

潮享教育金牌讲师

+关注
  • 目录
  • 信息
  • 笔记

相关推荐

你有10元优惠券仍未使用!

羽兔网

残忍离开

羽兔网
羽兔网
关于羽兔 帮助中心 讲师合作 联系我们 网站地图 最新资讯 最新问答 最新教程 最新软件 最新标签
按字母检索： A B C D E F G H I J K L M N O P Q R S T U V W X Y Z @

Copyright © 2010 - 2022 yutu.cn All rights reserved.羽兔网©版权所有 粤ICP备20024787号-1

客服QQ 800180565

周一至周五：9:00-21:00

周末及节日：9:00-18:00