Python数据分析从入门到精通电子书

书名页

版权

前言

第1章 Python语言基础

1.1 Python语言介绍

1.1.1 Python语言的地位

1.1.2 Python语言的优点

1.2 安装Python

1.2.1 在Windows系统中下载并安装Python

1.2.2 在MacOS系统中下载并安装Python

1.2.3 在Linux系统中下载并安装Python

1.3 Python开发工具介绍

1.3.1 使用Python自带的开发工具IDLE

1.3.2 使用流行工具PyCharm

1.4 认识第一段Python程序

1.4.1 使用IDLE编码并运行

1.4.2 使用命令行方式运行Python程序

1.4.3 使用交互式方式运行Python程序

1.4.4 使用PyCharm实现第一个Python程序

第2章 处理网络数据

2.1 处理HTML和XML数据

2.1.1 解析XML数据

2.1.2 使用库beautiful soup解析数据

2.1.3 使用库bleach解析数据

2.1.4 使用库cssutils解析数据

2.1.5 使用库html5lib解析数据

2.1.6 使用库markupsafe解析数据

2.1.7 使用库pyquery解析数据

2.2 处理HTTP数据

2.2.1 使用内置的http包处理数据

2.2.2 使用库requests处理数据

2.2.3 使用库httplib2处理数据

2.2.4 使用库urllib3处理数据

2.3 处理URL数据

2.3.1 使用urllib包

2.3.2 使用库furl处理数据

2.3.3 使用库purl处理数据

2.3.4 使用库webargs处理数据

2.4 爬取新闻保存到XML文件并分析特征关系

2.4.1 爬虫抓取数据

2.4.2 使用Stanford CoreNLP提取XML数据的特征关系

第3章 网络爬虫实战

3.1 网络爬虫基础

3.2 开发简单的网络爬虫应用程序

3.2.1 爬虫抓取某高校教师信息

3.2.2 抓取某吧的信息

3.2.3 抓取XX百科

3.2.4 爬虫抓取某网站的信息并保存到本地

3.3 使用爬虫框架Scrapy

3.3.1 Scrapy框架基础

3.3.2 搭建Scrapy环境

3.3.3 创建第一个Scrapy项目

3.3.4 抓取某电影网的热门电影信息

3.3.5 抓取某网站中的照片并保存到本地

3.3.6 抓取某网站中的主播照片并保存到本地

第4章 处理特殊文本格式

4.1 使用tablib模块

4.1.1 基本用法

4.1.2 操作数据集中的指定行和列

4.1.3 删除并导出不同格式的数据

4.1.4 生成一个Excel文件

4.1.5 处理多个数据集

4.1.6 使用标签过滤数据

4.1.7 分离表格中的数据

4.2 使用openpyxl处理Office文件

4.2.1 openpyxl基础

4.2.2 使用openpyxl读取Excel文件的数据

4.2.3 将4组数据导入Excel文件

4.2.4 在Excel文件中检索某关键字数据

4.2.5 将数据导入Excel文件并生成一个图表

4.3 使用pyexcel处理Office文件

4.3.1 使用pyexcel读取并写入CSV文件

4.3.2 使用pyexcel读取指定Excel文件中每个单元格数据

4.3.3 按列读取并显示指定Excel文件中每个单元格数据

4.3.4 读取显示Excel文件中的所有数据

4.3.5 将3组数据导入新建的Excel文件

4.3.6 以多种方式获取Excel数据

4.3.7 将数据分别导入Excel文件和SQLite数据库

4.3.8 在Flask Web项目中使用pyexcel处理数据

4.4 使用python-docx处理Office文件

4.4.1 使用python-docx处理Office文件的流程

4.4.2 创建Word文档

4.4.3 在Word中插入图片

4.4.4 创建结构文档

4.4.5 读取Word文档

4.5 使用xlrd和xlwt读写Excel

4.5.1 使用库xlrd

4.5.2 使用库xlwt

4.6 使用xlsxwriter操作Excel文件

4.6.1 使用库xlsxwriter的基本流程

4.6.2 创建一个表格

4.6.3 设置表格样式

4.6.4 向Excel文件中插入图像

4.6.5 向Excel文件中插入数据并绘制柱状图

4.6.6 向Excel文件中插入数据并绘制散点图

4.6.7 向Excel文件中插入数据并绘制柱状图和饼状图

第5章 使用数据库保存数据

5.1 操作SQLite3数据库

5.1.1 sqlite3模块介绍

5.1.2 使用sqlite3模块操作SQLite3数据库

5.1.3 使用Flask+SQLite3+ECharts2实现降水数据可视化系统

5.2 操作MySQL数据库

5.2.1 搭建PyMySQL环境

5.2.2 实现数据库连接

5.2.3 创建数据库表

5.2.4 爬取XX站用户信息并保存到MySQL数据库

5.3 使用MariaDB数据库

5.3.1 搭建MariaDB数据库环境

5.3.2 在Python程序中使用MariaDB数据库

5.4 使用MongoDB数据库

5.4.1 搭建MongoDB环境

5.4.2 在Python程序中使用MongoDB数据库

5.5 使用ORM操作数据库

5.5.1 Python和ORM

5.5.2 使用SQLAlchemy

5.5.3 使用mongoengine

第6章 操作处理CSV文件

6.1 内置CSV模块介绍

6.1.1 内置成员

6.1.2 操作CSV文件

6.1.3 提取CSV数据并保存到MySQL数据库

6.1.4 提取CSV数据并保存到SQLite数据库

6.2 爬取图书信息并保存为CSV文件

6.2.1 实例介绍

6.2.2 具体实现

6.3 使用CSV文件保存Scrapy抓取的数据

6.3.1 搭建Scrapy环境

6.3.2 具体实现

第7章 操作处理JSON数据

7.1 类型转换

7.2 JSON编码和解码

7.2.1 json模块基础

7.2.2 JSON数据的基本操作

7.3 分析JSON格式的世界人口数据

7.3.1 输出每个国家2010年的人口数量

7.3.2 获取两个字母的国别码

7.4 挖掘并分析日志文件数据

7.4.1 检查JSON日志的Python脚本

7.4.2 将MySQL操作日志保存到数据库文件

7.4.3 将日志中JSON数据保存为CSV格式

7.5 统计分析朋友圈的数据

7.5.1 将朋友圈数据导出到JSON文件

7.5.2 统计处理JSON文件中的朋友圈数据

7.6 爬虫抓取照片资料

7.6.1 系统设置

7.6.2 设置爬虫items选项

7.6.3 实现爬虫抓取

7.6.4 保存照片信息

7.6.5 运行调试

第8章 使用库matplotlib实现数据可视化处理

8.1 安装库matplotlib

8.2 库matplotlib的基本操作

8.2.1 绘制点

8.2.2 绘制折线

8.2.3 设置标签文字和线条粗细

8.2.4 自定义散点图样式

8.2.5 绘制柱状图

8.2.6 绘制多幅子图

8.2.7 绘制曲线

8.3 绘制随机漫步图

8.3.1 在Python程序中生成随机漫步数据

8.3.2 在Python程序中绘制随机漫步图

8.4 大数据分析某年最高温度和最低温度

8.5 在Tkinter中使用matplotlib绘制图表

8.6 爬取热门电影信息并制作数据分析饼状图

8.6.1 创建MySQL数据库

8.6.2 抓取并分析电影数据

第9章 使用库pygal实现数据可视化处理

9.1 安装库pygal

9.2 pygal的基本操作

9.2.1 使用pygal绘制条形图

9.2.2 使用pygal绘制直方图

9.2.3 使用pygal绘制XY线图

9.2.4 使用pygal绘制饼状图

9.2.5 使用pygal绘制雷达图

9.2.6 使用pygal模拟掷骰子

9.3 分析与图书销售相关的数据

9.3.1 分析某出版社开发类图书的销售数据

9.3.2 绘制图书销售数据的叠加柱状图和叠加折线图

9.3.3 绘制图书销售数据仪表图

9.4 使用pygal分析网络数据

9.4.1 统计前30名GitHub最受欢迎的Python库

9.4.2 使用pygal实现数据可视化

9.5 绘制比特币收盘价数据折线图

9.5.1 准备数据文件

9.5.2 绘制图形

第10章 使用库numPy实现数据可视化处理

10.1 库numPy基础

10.1.1 多维数组操作

10.1.2 构造数组和索引数组

10.1.3 数组操作函数

10.2 库numPy通用函数

10.2.1 字符串函数

10.2.2 算数运算函数

10.2.3 统计函数

10.2.4 排序、搜索和计数函数

10.2.5 字节交换

10.3 联合使用numPy和matplotlib

10.3.1 在numPy中使用matplotlib绘图

10.3.2 在numPy中使用matplotlib绘制正弦波图

10.3.3 在numPy中使用matplotlib绘制直方图

10.4 大数据分析最受欢迎的儿童名字

10.4.1 需要用到的库

10.4.2 下载数据文件

10.4.3 分析儿童的名字

第11章 使用库pandas实现数据可视化处理

11.1 安装库pandas

11.2 从CSV文件读取数据

11.2.1 读取显示CSV文件中的前3条数据

11.2.2 读取显示CSV文件中指定列的数据

11.2.3 以统计图方式显示CSV文件中的数据

11.2.4 选择指定数据

11.3 日期相关操作

11.3.1 统计每个月的骑行数据

11.3.2 显示某街道前5天的骑行数据信息

11.3.3 统计周一到周日每天的数据

11.3.4 使用matplotlib图表统计数据

11.4 分析服务器日志数据

11.4.1 分析统计每个enrollment_id事件的总数

11.4.2 统计每种时间的个数和占用比率

11.5 使用pandas提取数据并构建Neo4j知识图谱

11.5.1 使用pandas提取Excel数据

11.5.2 将数据保存到Neo4j数据库并构建知识图谱

第12章 大数据实战：电影票房系统

12.1 背景介绍

12.2 需求分析

12.3 模块架构

12.4 爬取数据

12.4.1 分析网页

12.4.2 破解反爬

12.4.3 构造请求头

12.4.4 实现具体爬虫功能

12.4.5 将爬取的信息保存到数据库

12.5 数据分析

12.5.1 电影票房TOP10

12.5.2 电影评分TOP10

12.5.3 电影人气TOP10

12.5.4 每月电影上映数量

12.5.5 每月电影票房

12.5.6 名利双收TOP10

12.5.7 叫座不叫好TOP10

12.5.8 电影类型分布