万本电子书0元读

万本电子书0元读

顶部广告

大数据采集与预处理电子书

·可作为高等职业院校、职业本科院校大数据技术及相关专业的教材 ·从基础的Python环境搭建、网络基础知识手,结合实例,由浅深地讲解了常用爬虫库和解析库、数据持久化保存、requests库操作、Selenium和ChromeDriver操作、Scrapy爬虫框架的基本原理和操作网络爬虫的常用技术和方法,以及通过Flask和ECharts实现数据可视化的方法等内容。 ·提供了爬虫案例和源代码,以便读者能够更加直观和快速地学会爬虫的编写技巧。

售       价:¥

纸质售价:¥51.80购买纸书

0人正在读 | 0人评论 6.6

作       者:李俊翰,武春岭

出  版  社:机械工业出版社

出版时间:2024-07-18

字       数:20.5万

所属分类: 经管/励志 > 管理 > 会计/金融投资

温馨提示:数字商品不支持退换货,不提供源文件,不支持导出打印

为你推荐

  • 读书简介
  • 目录
  • 累计评论(条)
  • 读书简介
  • 目录
  • 累计评论(条)
本书共分两部分:第一部分是网络数据采集与预处理的基础理论实践,包括任务1~任务6,主要讲解如何使用Python编写网络数据采集和预处理程序,内容包括Python环境搭建,Python基础语法、语句与函数,网络基础知识,常用网络数据采集与预处理库、解析库,数据持久化保存,以及requests库、numpy库、pandas库、Selenium技术、ChromeDriver技术和Scrapy技术的应用方式。第二部分是网络数据采集与预处理的综合案例,包括任务7~任务9,主要讲解requests库数据采集与ECharts可视化技术相结合以展示数据,并持久化保存数据、预处理数据的应用案例;Selenium和ChromeDriver技术相结合模拟登录,采集动态和静态数据,并持久化保存数据和预处理数据的应用案例;Hadoop平台的Flume日志数据采集应用案例,充分呈现了大数据采集与预处理主流技术、可视化技术的主要功能和特。 本书可作为高等职业院校、职业本科院校大数据技术及相关专业的教材,也可作为有一定Python编程经验并且对数据采集与预处理技术感兴趣的工程技术人员的参考用书。<br/>【推荐语】<br/>·可作为高等职业院校、职业本科院校大数据技术及相关专业的教材 ·从基础的Python环境搭建、网络基础知识手,结合实例,由浅深地讲解了常用爬虫库和解析库、数据持久化保存、requests库操作、Selenium和ChromeDriver操作、Scrapy爬虫框架的基本原理和操作网络爬虫的常用技术和方法,以及通过Flask和ECharts实现数据可视化的方法等内容。 ·提供了爬虫案例和源代码,以便读者能够更加直观和快速地学会爬虫的编写技巧。<br/>【作者】<br/>李俊翰,重庆电子科技职业大学副教授,骨干教师,高级双师型教师,系统集成项目管理工程师。作为主研参与大数据技术与应用国家专业教学资源库建设工作,主持子课程《应用程序发基础(Java)》;作为主研参与第二批“智慧助老”优质工作案例;作为主研获得2022重庆市教学成果“一等奖”;发表SCI1篇,中文核心期刊4篇;作为指导教师,指导学生参加2019全国职业院校技能大赛“大数据技术与应用”赛项获二等奖,2019、2020和2021重庆市职业院校技能竞赛“大数据技术与应用”赛项获得一等奖3项;主编和参编多部教材。<br/>
目录展开

前言

第一部分 基础理论实践

任务1 Python环境搭建——编写“Welcome to Python!”程序

1.1 任务描述

1.2 Python概述

1.3 Python编程环境搭建

1.4 安装集成开发环境PyCharm

1.5 Python基础语法

1.6 Python语句与函数

1.7 任务实现

1.8 小结

1.9 习题

任务2 实现简单数据采集——采集业务网站页面数据

2.1 任务描述

2.2 爬虫基础知识

2.3 网络知识基础

2.4 requests库

2.5 lxml库和BeautifulSoup库

2.6 任务实现

2.7 数据预处理基础

2.8 小结

2.9 习题

任务3 存储数据——学生就业信息数据读写和数据持久化

3.1 任务描述

3.2 MySQL

3.3 PyMySQL

3.4 CSV和JSON

3.5 任务实现

3.6 小结

3.7 习题

任务4 requests库技术应用案例——静态数据和动态数据采集

4.1 任务描述

4.2 静态数据和动态数据

4.3 子任务1:业务网站A静态数据采集

4.4 子任务2:业务网站B静态数据采集

4.5 子任务3:业务网站C动态数据采集

4.6 子任务4:业务网站D静态数据采集

4.7 小结

4.8 习题

任务5 ChromeDriver和Selenium技术应用案例——网站数据采集

5.1 任务描述

5.2 ChromeDriver

5.3 Selenium

5.4 任务实现:业务网站数据采集

5.5 小结

5.6 习题

任务6 Scrapy技术应用案例——框架式数据采集

6.1 任务描述

6.2 Scrapy

6.3 Scrapy组件

6.4 任务实现:业务网站数据采集

6.5 小结

6.6 习题

第二部分 综合案例

任务7 数据采集与可视化案例

7.1 任务描述

7.2 数据可视化技术

7.3 任务实现:业务网站二手房数据采集与可视化

7.4 小结

7.5 习题

任务8 爬取指定业务网站案例

8.1 任务描述

8.2 页面分析

8.3 模拟登录

8.4 获取静态数据

8.5 获取动态数据

8.6 数据持久化保存

8.7 数据预处理

8.8 小结

8.9 习题

任务9 Hadoop平台的Flume日志数据采集应用案例

9.1 任务描述

9.2 Hadoop介绍

9.3 Flume介绍

9.4 Flume安装和配置

9.5 Flume的应用

9.6 小结

9.7 习题

参考文献

累计评论(条) 个书友正在讨论这本书 发表评论

发表评论

发表评论,分享你的想法吧!

买过这本书的人还买过

读了这本书的人还在读

回顶部