Python数据分析与数据化运营(第2版)电子书

前言

为什么要写这本书

优化以及重写的内容

新增的内容

读者对象

如何阅读本书

勘误和支持

致谢

第1章 Python和数据化运营

1.1 用Python做数据化运营

1.1.1 Python是什么

1.1.2 数据化运营是什么

1.1.3 Python用于数据化运营

1.2 数据化运营所需的Python相关工具和组件

1.2.1 Python程序

1.2.2 Python交互环境Jupyter

1.2.3 Python第三方库

1.2.4 数据库和客户端

1.2.5 SSH远程客户端

1.3 内容延伸：Python的OCR和tensorflow

1.3.1 OCR工具：Tesseract-ocr

1.3.2 机器学习框架：TensorFlow

1.4 第1个用Python实现的数据化运营分析实例、销售预测

1.4.1 案例概述

1.4.2 案例过程

1.4.3 案例小结

1.5 本章小结

第2章 数据化运营的数据来源

2.1 数据化运营的数据来源类型

2.1.1 数据文件

2.1.2 数据库

2.1.3 API

2.1.4 流式数据

2.1.5 外部公开数据

2.1.6 其他来源

2.2 使用Python获取运营数据

2.2.1 从文本文件读取运营数据

2.2.2 从Excel获取运营数据

2.2.3 从关系型数据库MySQL读取运营数据

2.2.4 从非关系型数据库MongoDB读取运营数据

2.2.5 从API获取运营数据

2.3 内容延伸：读取非结构化网页、文本、图像、视频、语音

2.3.1 从网页中获取运营数据

2.3.2 读取非结构化文本数据

2.3.3 读取图像数据

2.3.4 读取视频数据

2.3.5 读取语音数据

2.4 本章小结

第3章 10条数据化运营不得不知道的数据预处理经验

3.1 数据清洗：缺失值、异常值和重复值的处理

3.1.1 数据列缺失的4种处理方法

3.1.2 不要轻易抛弃异常数据

3.1.3 数据重复就需要去重吗

3.1.4 代码实操：Python数据清洗

3.2 将分类数据和顺序数据转换为标志变量

3.2.1 分类数据和顺序数据是什么

3.2.2 运用标志方法处理分类和顺序变量

3.2.3 代码实操：Python标志转换

3.3 大数据时代的数据降维

3.3.1 需要数据降维的情况

3.3.2 基于特征选择的降维

3.3.3 基于特征转换的降维

3.3.4 基于特征组合的降维

3.3.5 代码实操：Python数据降维

3.4 解决样本类别分布不均衡的问题

3.4.1 哪些运营场景中容易出现样本不均衡

3.4.2 通过过抽样和欠抽样解决样本不均衡

3.4.3 通过正负样本的惩罚权重解决样本不均衡

3.4.4 通过组合/集成方法解决样本不均衡

3.4.5 通过特征选择解决样本不均衡

3.4.6 代码实操：Python处理样本不均衡

3.5 数据化运营要抽样还是全量数据

3.5.1 什么时候需要抽样

3.5.2 如何进行抽样

3.5.3 抽样需要注意的几个问题

3.5.4 代码实操：Python数据抽样

3.6 解决运营数据的共线性问题

3.6.1 如何检验共线性

3.6.2 解决共线性的5种常用方法

3.6.3 代码实操：Python处理共线性问题

3.7 有关相关性分析的混沌

3.7.1 相关和因果是一回事吗

3.7.2 相关系数低就是不相关吗

3.7.3 代码实操：Python相关性分析

3.8 标准化，让运营数据落入相同的范围

3.8.1 实现中心化和正态分布的Z-Score

3.8.2 实现归一化的Max-Min

3.8.3 用于稀疏数据的MaxAbs

3.8.4 针对离群点的RobustScaler

3.8.5 代码实操：Python数据标准化处理

3.9 离散化，对运营数据做逻辑分层

3.9.1 针对时间数据的离散化

3.9.2 针对多值离散数据的离散化

3.9.3 针对连续数据的离散化

3.9.4 针对连续数据的二值化

3.9.5 代码实操：Python数据离散化处理

3.10 内容延伸：非结构化数据的预处理

3.10.1 网页数据解析

3.10.2 网络用户日志解析

3.10.3 图像的基本预处理

3.10.4 自然语言文本预处理

3.11 本章小结

第4章 跳过运营数据分析和挖掘的“大坑”

4.1 聚类分析

4.1.1 当心数据异常对聚类结果的影响

4.1.2 超大数据量时应该放弃K均值算法

4.1.3 聚类不仅是建模的终点，更是重要的中间预处理过程

4.1.4 高维数据上无法应用聚类吗

4.1.5 如何选择聚类分析算法

4.1.6 案例：客户特征的聚类与探索性分析

4.2 回归分析

4.2.1 注意回归自变量之间的共线性问题

4.2.2 相关系数、判定系数和回归系数之间是什么关系

4.2.3 判定系数是否意味着相应的因果联系

4.2.4 注意应用回归模型时研究自变量是否产生变化

4.2.5 如何选择回归分析算法

4.2.6 案例：大型促销活动前的销售预测

4.3 分类分析

4.3.1 防止分类模型的过拟合问题

4.3.2 使用关联算法做分类分析

4.3.3 用分类分析来提炼规则、提取变量、处理缺失值

4.3.4 类别划分：分类算法和聚类算法都是好手

4.3.5 如何选择分类分析算法

4.3.6 案例：用户流失预测分析与应用

4.4 关联分析

4.4.1 频繁规则不一定是有效规则

4.4.2 不要被啤酒尿布的故事禁锢你的思维

4.4.3 被忽略的“负相关”模式真的毫无用武之地吗

4.4.4 频繁规则只能打包组合应用吗

4.4.5 关联规则的序列模式

4.4.6 使用Python和R分别实现商品交叉销售分析

4.5 异常检测分析

4.5.1 异常检测中的“新奇检测”模式

4.5.2 将数据异常与业务异常相分离

4.5.3 面临维度灾难时，异常检测可能会失效

4.5.4 异常检测的结果能说明异常吗

4.5.5 案例：网站广告流量的异常识别与检测

4.6 时间序列分析

4.6.1 如果有自变量，为什么还要用时间序列

4.6.2 时间序列不适合商业环境复杂的企业

4.6.3 时间序列预测的整合、横向和纵向模式

4.6.4 案例：未来10天的整体销售预测

4.7 路径、漏斗、归因和热力图分析

4.7.1 不要轻易相信用户的页面访问路径

4.7.2 如何将路径应用于更多用户行为模式的挖掘

4.7.3 为什么很多数据都显示了多渠道路径的价值很小

4.7.4 点击热力图真的反映了用户的点击喜好吗

4.7.5 为什么归因分析主要存在于线上的转化行为

4.7.6 漏斗分析和路径分析有什么区别

4.8 其他数据分析和挖掘的忠告

4.8.1 不要忘记数据质量的验证

4.8.2 不要忽视数据的落地性

4.8.3 不要把数据陈列当作数据结论

4.8.4 数据结论不要产生于单一指标

4.8.5 数据分析不要预设价值立场

4.8.6 不要忽视数据与业务的需求冲突问题

4.9 内容延伸1：非结构化数据的分析与挖掘

4.9.1 词频统计

4.9.2 词性标注

4.9.3 关键字提取

4.9.4 文本聚类

4.10 内容延伸2：AutoML——自动化数据挖掘与机器学习

4.10.1 自动化数据挖掘与机器学习概述

4.10.2 TPOT自动化学习简介

4.10.3 使用TPOT做自动化学习

4.11 本章小结

第5章 会员数据化运营

5.1 会员数据化运营概述

5.2 会员数据化运营关键指标

5.2.1 会员整体指标

5.2.2 会员营销指标

5.2.3 会员活跃度指标

5.2.4 会员价值度指标

5.2.5 会员终生价值指标

5.2.6 会员异动指标

5.3 会员数据化运营应用场景

5.3.1 会员营销

5.3.2 会员关怀

5.4 会员数据化运营分析模型

5.4.1 会员细分模型

5.4.2 会员活跃度模型

5.4.3 会员价值度模型

5.4.4 会员流失预测模型

5.4.5 会员特征分析模型

5.4.6 营销响应预测模型

5.5 会员数据化运营分析小技巧

5.5.1 使用留存分析做新用户质量分析

5.5.2 使用AARRR做App用户生命周期分析

5.5.3 借助动态数据流关注会员状态的轮转

5.5.4 使用协同过滤算法为新会员分析推送个性化信息

5.6 会员数据化运营分析的“大实话”

5.6.1 企业“不差钱”，还有必要做会员精准营销吗

5.6.2 用户满意度取决于期望和给予的匹配程度

5.6.3 用户不购买就是流失了吗

5.6.4 来自调研问卷的用户信息可信吗

5.6.5 不要盲目相信二八法则

5.7 案例：基于RFM的精细化用户管理

5.7.1 案例背景

5.7.2 案例主要应用技术

5.7.3 案例数据

5.7.4 案例过程

5.7.5 案例数据结论

5.7.6 案例应用和部署

5.7.7 案例注意点

5.7.8 案例引申思考

5.8 案例：基于嵌套Pipeline和FeatureUnion复合数据工作流的营销响应预测

5.8.1 案例背景

5.8.2 案例主要应用技术

5.8.3 案例数据

5.8.4 案例过程

5.8.5 案例数据结论

5.8.6 案例应用和部署

5.8.7 案例注意点

5.8.8 案例引申思考

5.9 本章小结

第6章 商品数据化运营

6.1 商品数据化运营概述

6.2 商品数据化运营关键指标

6.2.1 销售指标

6.2.2 促销活动指标

6.2.3 供应链指标

6.3 商品数据化运营应用场景

6.3.1 销售预测

6.3.2 库存分析

6.3.3 市场分析

6.3.4 促销分析

6.4 商品数据化运营分析模型

6.4.1 商品价格敏感度模型

6.4.2 新产品市场定位模型

6.4.3 销售预测模型

6.4.4 商品关联销售模型

6.4.5 异常订单检测

6.4.6 商品规划的最优组合

6.5 商品数据化运营分析小技巧

6.5.1 使用层次分析法将定量与定性分析结合

6.5.2 通过假设检验做促销拉动分析

6.5.3 使用BCG矩阵做商品结构分析

6.5.4 巧用4P分析建立完善的商品运营分析结构

6.6 商品数据化运营分析的“大实话”

6.6.1 为什么很多企业会以低于进价的价格大量销售商品

6.6.2 促销活动真的是在促进商品销售吗

6.6.3 用户关注的商品就是要买的商品吗

6.6.4 提供的选择过多其实不利于商品销售

6.7 案例：基于Gradient Boosting的自动超参数优化的销售预测

6.7.1 案例背景

6.7.2 案例主要应用技术

6.7.3 案例数据

6.7.4 案例过程

6.7.5 案例数据结论

6.7.6 案例应用和部署

6.7.7 案例注意点

6.7.8 案例引申思考

6.8 案例：基于集成算法GBDT和RandomForest的投票组合模型的异常检测

6.8.1 案例背景

6.8.2 案例主要应用技术

6.8.3 案例数据

6.8.4 案例过程

6.8.5 案例数据结论

6.8.6 案例应用和部署

6.8.7 案例注意点

6.8.8 案例引申思考

6.9 本章小结

第7章 流量数据化运营

7.1 流量数据化运营概述

7.2 八大流量分析工具

7.2.1 Adobe Analytics

7.2.2 Webtrekk Suite

7.2.3 Webtrends

7.2.4 Google Analytics

7.2.5 IBM Coremetrics

7.2.6 百度统计

7.2.7 Flurry

7.2.8 友盟

7.2.9 如何选择第三方流量分析工具

7.3 流量采集分析系统的工作机制

7.3.1 流量数据采集

7.3.2 流量数据处理

7.3.3 流量数据应用

7.4 流量数据与企业数据的整合

7.4.1 流量数据整合的意义

7.4.2 流量数据整合的范畴

7.4.3 流量数据整合的方法

7.5 流量数据化运营指标

7.5.1 站外营销推广指标

7.5.2 网站流量数量指标

7.5.3 网站流量质量指标

7.6 流量数据化运营应用场景

7.6.1 流量采购

7.6.2 流量分发

7.7 流量数据化运营分析模型

7.7.1 流量波动检测

7.7.2 渠道特征聚类

7.7.3 广告整合传播模型

7.7.4 流量预测模型

7.8 流量数据化运营分析小技巧

7.8.1 给老板提供一页纸的流量dashboard

7.8.2 关注趋势、重要事件和潜在因素是日常报告的核心

7.8.3 使用从细分到多层下钻数据分析

7.8.4 通过跨屏追踪解决用户跨设备和浏览器的访问行为

7.8.5 基于时间序列的用户群体过滤

7.9 流量数据化运营分析的“大实话”

7.9.1 流量数据分析的价值其实没那么大

7.9.2 如何将流量的实时分析价值最大化

7.9.3 营销流量的质量评估是难点工作

7.9.4 个性化的媒体投放仍然面临很多问题

7.9.5 传统的网站分析方法到底缺少了什么

7.10 案例：基于自动节点树的数据异常原因下探分析

7.10.1 案例背景

7.10.2 案例主要应用技术

7.10.3 案例数据

7.10.4 案例过程

7.10.5 案例数据结论

7.10.6 案例应用和部署

7.10.7 案例注意点

7.10.8 案例引申思考

7.11 案例：基于自动K值的KMeans广告效果聚类分析

7.11.1 案例背景

7.11.2 案例主要应用技术

7.11.3 案例数据

7.11.4 案例过程

7.11.5 案例数据结论

7.11.6 案例应用和部署

7.11.7 案例注意点

7.11.8 案例引申思考

7.12 本章小结

第8章 内容数据化运营

8.1 内容数据化运营概述

8.2 内容数据化运营指标

8.2.1 内容质量指标

8.2.2 SEO类指标

8.2.3 内容流量指标

8.2.4 内容互动指标

8.2.5 目标转化指标

8.3 内容数据化运营应用场景

8.3.1 内容采集

8.3.2 内容创作

8.3.3 内容分发

8.3.4 内容管理

8.4 内容数据化运营分析模型

8.4.1 情感分析模型

8.4.2 搜索优化模型

8.4.3 文章关键字模型

8.4.4 主题模型

8.4.5 垃圾信息检测模型

8.5 内容数据化运营分析小技巧

8.5.1 通过AB测试和多变量测试找到最佳内容版本

8.5.2 通过屏幕浏览占比了解用户到底看了页面多少内容

8.5.3 通过数据分析系统与CMS打通实现个性化内容运营

8.5.4 将个性化推荐从网站应用到App端

8.6 内容数据化运营分析的“大实话”

8.6.1 个性化内容运营不仅是整合CMS和数据系统

8.6.2 用户在着陆页上不只有跳出和继续两种状态

8.6.3 “人工组合”的内容运营价值最大化并非不能实现

8.6.4 影响内容点击率的因素不仅有位置

8.7 案例：基于潜在狄利克雷分配的内容主题挖掘

8.7.1 案例背景

8.7.2 案例主要应用技术

8.7.3 案例数据

8.7.4 案例过程

8.7.5 案例数据结论

8.7.6 案例应用和部署

8.7.7 案例注意点

8.7.8 案例引申思考

8.8 案例：基于多项式贝叶斯的增量学习的文本分类

8.8.1 案例背景

8.8.2 案例主要应用技术

8.8.3 案例数据

8.8.4 案例过程

8.8.5 案例数据结论

8.8.6 案例应用和部署

8.8.7 案例注意点

8.8.8 案例引申思考

8.9 本章小结

第9章 数据化运营分析的终极秘籍

9.1 撰写出彩的数据分析报告的5个建议

9.1.1 完整的报告结构

9.1.2 精致的页面版式

9.1.3 漂亮的可视化图形

9.1.4 突出报告的关键信息

9.1.5 用报告对象习惯的方式撰写报告

9.2 数据化运营支持的4种扩展方式

9.2.1 数据API

9.2.2 数据模型

9.2.3 数据产品

9.2.4 运营产品

9.3 提升数据化运营价值度的5种途径

9.3.1 数据源：不只有结构化的数据

9.3.2 自动化：建立自动工作机制

9.3.3 未卜先知：建立智能预警模型

9.3.4 智能化：向BI-AI的方向走

9.3.5 场景化：将数据嵌入运营环节之中

9.4 本章小结

附录

附录A 公开数据集

附录B Python数据工具箱