爬虫概述

技术文章 1年前 (2020) 完美者
1,671 0

标签:it行业   --   工作   行数据   http   区分   类型   承担   针对性   

1 为什么要做爬虫

未来软件定义世界!

软件只是一个工具,决定软件的作用影响力的是数据

数据是软件的核心

       数据量一旦达到一定的规模,价值非常高,不是一般的中小型公司可以承担的!在这样的模式下,一些数据交易公司、一些需要数据的中小型公司,就需要寻求一种成本低的数据获取手段:雇佣爬虫工程师采集数据!

爬虫工程师,负责给数据操作的公司以及数据需要的公司采集数据,开发应用程序

2 什么是爬虫

爬虫:爬虫工程师开发的用于采集网络数据(网站数据、网络软件)的应用程序。

3 爬虫分类

爬虫根据在实际应用中使用方式的不同,区分为通用爬虫和聚焦爬虫

1. 通用爬虫

搜索引擎的核心组件(通用爬虫),可以在网络中采集网络中工作的所有网站和应用的数据,并且将数据存储到自己的数据库中,进行数据筛选解析、索引入库、检索查询的操作

技术图片

2.聚焦爬虫

企业中用于针对性采集数据的应用程序,根据自己的需要定义好数据的特征(eg:商品名称、商品单价、商品图片、商品销量、商品评价...),这些采集的数据只能用于一些特定的用途,也是IT行业中爬虫工程师核心的工作所在!
聚焦爬虫应用的特点如下:

  1. 针对性很高,每一批新数据的采集需求,都需要重新开发程序
  2. 技术更新快,每个爬虫应用,采集数据过程中,需要根据网站的发爬虫操作,实时更新我们自己的爬虫应用,突破反爬虫限制
  3. 采集周期短,相比较通用爬虫,针对性数据的采集,通用会有明确的需求,如采集数据的特征(代码-类型的属性)、采集数据数量(20KW)、采集周期(1Month)

技术图片

4企业的爬虫架构

1. 爬虫开发流程

爬虫工程师
接收产品经理需求--> 数据采集数据
需求分析过程--> 客户、产品经理、技术,完成数据特征的分析、数据量和采集周期确定
程序设计开发--> 开发符合要求的爬虫应用,采集样板数据,再次需求分析
程序运行部署--> 爬虫应用需要爬虫工程师自行部署和维护
全量数据入库--> 持久化数据,完成数据清洗,进行数据交付

2. 爬虫架构方式
技术图片

爬虫概述

标签:it行业   --   工作   行数据   http   区分   类型   承担   针对性   

原文地址:https://www.cnblogs.com/duxiangjie/p/13902853.html

版权声明:完美者 发表于 2020-10-31 2:03:45。
转载请注明:爬虫概述 | 完美导航

暂无评论

暂无评论...