Python数据分析从小白到高手电子书

内容提要

前言

本书主要内容

使用本书的注意事项

本书主要特色

1 Python入门

1.1 为什么选择Python

1.1.1 人工智能与ChatGPT

1.1.2 Python与人工智能

1.2 Python主要库简介

1.2.1 NumPy

1.2.2 Pandas

1.2.3 Matplotlib

1.2.4 Sklearn

1.3 如何学习Python

2 搭建Python开发环境

2.1 Anaconda

2.1.1 什么是Anaconda

2.1.2 安装Anaconda

2.2 常用开发工具

2.2.1 Spyder

2.2.2 Jupyter Lab

2.2.3 PyCharm

2.3 包管理工具pip

3 Python语法

3.1 Python基础语法

3.1.1 变量及其命名

3.1.2 代码行与缩进

3.1.3 条件if及if嵌套

3.1.4 循环while与for

3.1.5 格式format()与%

（1）利用f - string格式化

（2）利用位置格式化

（3）利用关键字格式化

（4）利用对象属性格式化

（5）利用下标格式化

（6）利用填充与对齐格式化

（7）利用精度与类型格式化

（8）利用千分位分隔符格式化

3.1.6 编码类型及转换

（1）ASCII字符集

（2）GB2312字符集

（3）Unicode字符集

（4）UTF-8字符集

3.2 Python运算符

3.2.1 算术运算符

（1）“+”加法运算符

（2）“-”减法运算符

（3）“＊”乘法运算符

（4）“/”和“//”除法运算符

（5）“%”求余运算符

（6）“**”次方（幂）运算符

3.2.2 赋值运算符

（1）基本赋值运算符

（2）连续赋值

（3）扩展后的赋值运算符

3.2.3 比较运算符

3.2.4 逻辑运算符

3.2.5 运算符优先级

3.3 Python常用技巧

3.3.1 自动补全程序

3.3.2 变量赋值技巧

3.3.3 变量链式比较

3.3.4 获取元素索引

3.3.5 遍历序列元素

3.3.6 序列元素排序

3.3.7 列表解析式

3.3.8 元素序列解包

3.3.9 合并序列元素

3.3.10 三元表达式

3.3.11 lambda表达式

3.3.12 矩阵乘法与转置

4 Python数据类型

4.1 认识数据类型

4.1.1 数值（number）类型

4.1.2 字符串（string）类型

4.1.3 列表（list）类型

4.1.4 元组（tuple）类型

4.1.5 集合（set）类型

4.1.6 字典（dict）类型

4.1.7 布尔值（boolean）类型

4.1.8 空值（None）类型

4.1.9 数据类型转换

（1）可变数据类型

（2）不可变数据类型

（3）常见转换函数

4.2 字符串常用方法

4.2.1 字符串拼接的3种方法

（1）字符串紧挨拼接

（2）借助“+”运算符来拼接

（3）字符串和数字的拼接

4.2.2 字符串切片的2种方法

（1）获取单个字符

（2）获取多个字符

4.2.3 分割与合并字符串

（1）split()方法分割字符串

（2）join()方法合并字符串

4.2.4 检索子字符串的几种方法

（1）find()方法

（2）rfind()方法

（3）index()方法

（4）rindex()方法

4.2.5 字符串对齐的3种方法

（1）ljust()方法

（2）rjust()方法

（3）center()方法

4.2.6 去除字符串中空格的3种方法

（1）strip()方法

（2）lstrip()方法

（3）rstrip()方法

4.2.7 字符串大小写转换的3种函数

（1）title()方法

（2）lower()方法

（3）upper()方法

4.2.8 获取字符串长度或字节数

4.2.9 统计字符串出现次数

4.3 列表常用方法

4.3.1 append()方法

4.3.2 clear()方法

4.3.3 copy()方法

4.3.4 count()方法

4.3.5 extend()方法

4.3.6 index()方法

4.3.7 insert()方法

4.3.8 pop()方法

4.3.9 remove()方法

4.3.10 reverse()方法

4.3.11 sort()方法

5 Python数据加载

5.1 加载本地离线数据

5.1.1 加载TXT文件数据

5.1.2 加载CSV文件数据

5.1.3 加载Excel文件数据

5.2 加载常用数据库数据

5.2.1 加载Oracle数据库数据

5.2.2 加载MySQL数据库数据

5.2.3 加载SQL Server数据库数据

5.3 加载Hadoop集群数据

5.3.1 集群软件及其版本

5.3.2 集群网络环境配置

（1）配置集群节点网络

（2）关闭防火墙和SELinux

（3）免密钥登录设置

5.3.3 Python连接Hive

5.4 加载Web在线数据

6 Python数据准备

6.1 数据的索引

6.1.1 创建索引

6.1.2 创建层次化索引

6.1.3 调整索引

6.2 数据的排序

6.2.1 按行索引排序数据

6.2.2 按列索引排序数据

6.2.3 按一列或多列排序数据

6.2.4 按一行或多行排序数据

6.3 数据的切片

6.3.1 提取一列或多列数据

6.3.2 提取一行或多行数据

6.3.3 提取指定区域的数据

6.4 数据的聚合

6.4.1 groupby()函数：分组聚合

6.4.2 agg()函数：更多聚合指标

6.5 数据的透视

6.5.1 pivot_table()函数：数据透视

6.5.2 crosstab()函数：数据交叉

6.6 数据的合并

6.6.1 merge()函数：横向合并

6.6.2 concat()函数：纵向合并

7 Python数据可视化

7.1 Matplotlib

7.1.1 Matplotlib库简介

7.1.2 业绩考核误差条形图

7.2 Pyecharts

7.2.1 Pyecharts库简介

7.2.2 销售额主题河流图

7.3 Seaborn

7.3.1 Seaborn库简介

7.3.2 利润额增强箱形图

7.4 Plotly

7.4.1 Plotly库简介

7.4.2 家庭成员结构旭日图

7.5 Altair

7.5.1 Altair库简介

7.5.2 月度订单量脊线图

7.6 NetworkX

7.6.1 NetworkX简介

7.6.2 NetworkX绘制平衡树

8 Python机器学习

8.1 机器学习理论概述

8.1.1 机器学习概念

（1）特征（feature）

（2）训练集与测试集

（3）欠拟合与过拟合

（4）评估器（estimator）

（5）交叉验证（cross validation）

（6）机器学习编码

8.1.2 机器学习分类

（1）监督学习

（2）无监督学习

（3）半监督学习

（4）深度学习

（5）强化学习

（6）迁移学习

8.1.3 模型评估方法

（1）混淆矩阵

（2）ROC曲线

（3）AUC

（4）R平方

（5）残差

8.2 线性回归及其案例

8.2.1 线性回归简介

8.2.2 线性回归的建模

（1）判定系数

（2）估计标准误差

8.2.3 汽车价格的预测

8.3 聚类分析及其案例

8.3.1 K-Means聚类简介

8.3.2 K-Means聚类建模

8.3.3 使用手肘法判断聚类数

8.3.4 轮廓系数法判断聚类数

8.4 XGBoost及其案例

8.4.1 XGBoost算法概述

8.4.2 XGBoost算法参数

（1）一般参数

（2）弱评估器参数

（3）任务参数

8.4.3 XGBoost算法案例

8.5 时间序列及其案例

8.5.1 时间序列算法概述

8.5.2 指数平滑法及其案例

（1）一次指数平滑法

（2）二次指数平滑法

（3）Holt-Winter指数平滑法

8.5.3 ARIMA算法及其案例

（1）平稳性要求

（2）自回归模型

（3）移动平均模型

（4）自回归移动平均模型

（5）自相关函数与偏自相关函数

9 Python深度学习

9.1 深度学习概述

9.1.1 什么是深度学习

（1）PyTorch简介

（2）TensorFlow简介

（3）两种框架的比较

（1）推荐算法

（2）语音识别

（3）模式识别

（4）目标检测

（5）智慧城市

9.1.2 安装PyTorch 2.0

（1）安装CPU版本

（2）安装GPU版本

9.2 PyTorch图像识别技术

9.2.1 加载数据集

9.2.2 搭建与训练网络

9.2.3 预测图像数据

9.3 PyTorch模型可视化

9.3.1 Visdom简介

9.3.2 Visdom可视化操作

（1）散点图plot.scatter()

（2）线图vis.line()

（3）其他图形

9.4 手写数字自动识别

（1）简介

（2）步骤

（3）案例小结

10 Python自然语言处理

10.1 自然语言处理概述

10.2 Jieba中文分词

10.2.1 Jieba分词模式

10.2.2 自定义停用词

10.2.3 商品评论关键词词云

10.3 聊天机器人ChatGPT

10.3.1 ChatGPT简介

（1）ChatGPT与spaCy

（2）ChatGPT与Gensim

10.3.2 Python如何调用ChatGPT

10.3.3 Python调用ChatGPT举例

（1）智能搜索

（2）语言翻译

（3）自动写作

（4）自动编程

10.4 spaCy

10.4.1 spaCy简介

（1）nlp类

（2）Doc类

（3）Span类

（4）Token类

（5）Vocab类

10.4.2 spaCy语言模型

（1）加载语言模型

（2）扩展语言

10.4.3 spaCy依存分析

（1）依存关系

（2）解析依存关系

10.5 Gensim

10.5.1 Gensim简介

10.5.2 Gensim文本处理步骤

（1）语料

（2）向量

（3）模型

10.5.3 中文LDA分析及可视化

（1）每个主题表示什么意义

（2）每个主题有多么普遍

（3）主题之间有什么关联

11 案例：金融量化交易分析

11.1 案例背景概述

11.1.1 案例研究意义

11.1.2 K线图技术理论

11.1.3 案例数据采集

11.2 数据基础分析

11.2.1 查看数据集信息

11.2.2 数据描述性分析

11.2.3 数据可视化分析

（1）绘制股票成交量的时间序列图

（2）绘制股票收盘价和成交量的时间序列图

（3）绘制股票价格走势的K线图

11.3 股票数据分析

11.3.1 指标相关性分析

（1）变量散点图矩阵

（2）相关系数矩阵

11.3.2 指标趋势性分析

11.3.3 股票交易时机分析

11.3.4 股票交易策略分析

11.4 案例小结

12 案例：武汉市空气质量分析

13 案例：阿尔茨海默病特征分析

附录

参考文献