Python爬虫 - 简介

首页 / 网络爬虫 / Introduction

Web抓取是从Web提取信息的自动过程,本章将为您提供有关Web抓取的深入概念,它与Web抓取的比较以及为什么要选择Web抓取。

网页抓取

字典中" Scrapping"一词的含义表示可以从网络中获取某些东西,这里出现两个问题:无涯教程可以从网上获得什么以及如何获得它。

第一个问题的答案是"数据" ,数据对于任何程序员都是必不可少的,每个编程项目的基本要求是大量有用的数据。

链接:https://www.learnfk.com/python-web-scraping/python-web-scraping-introduction.html

来源:LearnFk无涯教程网

第二个问题的答案有些棘手,因为有很多方法可以获取数据,通常,可能会从数据库或数据文件以及其他来源获取数据,但是,如果需要大量在线可用数据,该怎么办?获取此类数据的一种方法是手动搜索(在Web浏览器中单击)并保存(将其复制粘贴到电子表格或文件中)所需的数据。这种方法非常繁琐且耗时,获取此类数据的另一种方法是使用网络抓取。

网络抓取,也称为网络数据挖掘或网络收集,是构建可提取,解析,下载和组织的过程来自网络的信息,换句话说,Web抓取软件不是手动从网站保存数据,而是根据要求自动从多个网站加载和提取数据。

Web爬虫起源

Web抓取的起源是屏幕抓取,它用于集成非基于Web的应用程序或本机Windows应用程序,最初在广泛使用万维网(WWW)之前就使用了屏幕抓取函数,但是它无法扩大WWW的规模,这使得必须自动执行屏幕抓取的方法,并且出现了称为" Web Scraping" 的技术。

Web爬虫组件

网络爬虫模块(Web Crawler Module)

Web爬虫的一个非常必要的组件,即Web爬虫模块,用于通过向URL发出HTTP或HTTPS请求来导航目标网站,搜寻器下载非结构化数据(HTML内容),并将其传递给下一个模块提取器。

提取器(Extractor)

提取器处理获取的HTML内容,并将数据提取为半结构格式,这也称为解析器模块,并使用不同的解析技术(如正则表达式,HTML解析,DOM解析或人工智能)来实现其函数。

数据转换和清理模块(Data Transformation and Cleaning Module)

上面提取的数据不适合立即使用,它必须通过一些清理模块,以便可以使用它,诸如字符串操作或正则表达式之类的方法可用于此目的,注意,提取和变换也可以在单个步骤中执行。

存储模块(Storage Module)

提取数据后,无涯教程需要根据需要存储它。存储模块将以标准格式输出数据,该数据可以以数据库或JSON或CSV格式存储。

Python Web Scraping目录

这一章《Python爬虫 - 简介》你学到了什么?在下面做个笔记吧!做站不易,你的分享是对我们最大的支持,感谢!😊

相关文章

编译原理之美 -〔宫文学 - 45讲〕

Node.js开发实战 -〔杨浩 - 57讲〕

乔新亮的CTO成长复盘 -〔乔新亮 - 28讲〕

React Native 新架构实战课 -〔蒋宏伟 - 39讲〕

在 pandas 中舍入一个范围

反转的正则表达式模式比原始模式慢得多

3级链式python导入失败

如何向输入字典添加别名?

将命令添加到用户输入

有没有一种好方法可以将 pandas 列多索引转换为列类别?

视频推荐〔Python Web Scraping - 2 5 bs4解析前戏-html语法规则-1〕

更多视频 »
好记忆不如烂笔头。留下你的足迹吧 :)