概率编程实战电子书

内容提要

前言

致谢

关于本书

路线图

关于代码和练习

关于作者

作者在线

第1部分 概率编程和Figaro简介

第1章 概率编程简介

1.1 什么是概率编程

1.1.1 我们如何做出主观判断

1.1.2 概率推理系统帮助决策

1.1.3 概率推理系统有3种方式推理

1.1.4 概率编程系统：用编程语言表达的概率推理系统

1.2 为什么使用概率编程

1.2.1 更好的概率推理

1.2.2 更好的模拟语言

1.3 Figaro简介：一种概率编程语言

Figaro与Java的对比：构建简单的概率编程系统

1.4 小结

1.5 练习

第2章 Figaro快速教程

2.1 Figaro简介

2.2 创建模型和运行推理：重回Hello World

2.2.1 构建第一个模型

2.2.2 运行推理和回答查询

2.2.3 构建模型和生成观测值

2.2.4 理解模型的构建方法

2.2.5 理解重复的元素：何时相同，何时不同

2.3 使用基本构件：原子元素

2.3.1 离散原子元素

2.3.2 连续原子元素

2.4 使用复合元素组合原子元素

2.4.1 If

2.4.2 Dist

2.4.3 原子元素的复合版本

2.5 用Apply和Chain构建更复杂的模型

2.5.1 Apply

2.5.2 Chain

2.6 使用条件和约束指定证据

2.6.1 观测值

2.6.2 条件

2.6.3 约束

2.7 小结

2.8 练习

第3章 创建一个概率编程应用程序

3.1 把握全局

3.2 运行代码

3.3 探索垃圾邮件过滤应用的架构

3.3.1 推理组件架构

3.3.2 学习组件架构

3.4 设计电子邮件模型

3.4.1 选择元素

3.4.2 定义依赖关系

3.4.3 定义函数形式

3.4.4 使用数值参数

3.4.5 使用辅助知识

3.5 构建推理组件

3.6 创建学习组件

3.7 小结

3.8 练习

第2部分 编写概率程序

第4章 概率模型和概率程序

4.1 概率模型定义

4.1.1 将一般知识表达为可能世界上的某种概率分布

4.1.2 进一步探索概率分布

4.2 使用概率模型回答查询

4.2.1 根据证据调节以产生后验概率分布

4.2.2 回答查询

4.2.3 使用概率推理

4.3 概率模型的组成部分

4.3.1 变量

4.3.2 依赖性

4.3.3 函数形式

4.3.4 数值参数

4.4 生成过程

4.5 使用连续变量的模型

4.5.1 使用β-二项式模型

4.5.2 连续变量的表示

4.6 小结

4.7 练习

第5章 用贝叶斯和马尔科夫网络建立依赖性模型

5.1 建立依赖性模型

5.1.1 有向依赖性

5.1.2 无向依赖性

5.1.3 直接和间接依赖性

5.2 使用贝叶斯网络

5.2.1 贝叶斯网络定义

5.2.2 贝叶斯网络如何定义概率分布

5.2.3 用贝叶斯网络进行推理

5.3 探索贝叶斯网络的一个示例

5.3.1 设计一个计算机系统诊断模型

5.3.2 用计算机系统诊断模型进行推理

5.4 使用概率编程扩展贝叶斯网络：预测产品的成功

5.4.1 设计产品成功预测模型

5.4.2 用产品成功预测模型进行推理

5.5 使用马尔科夫网络

5.5.1 马尔科夫网络定义

5.5.2 表示马尔科夫网络并用其进行推理

5.6 小结

5.7 练习

第6章 使用Scala和Figaro集合构建模型

6.1 使用Scala集合

6.1.1 为依赖于单一变量的多个变量建立模型

6.1.2 创建层次化模型

6.1.3 建立同时依赖两个变量的模型

6.2 使用Figaro集合

6.2.1 理解Figaro集合的用途

6.2.2 用Figaro集合重新实现层次化模型

6.2.3 结合使用Scala和Figaro集合

6.3 建立对象数量未知情况的模型

6.3.1 开放宇宙中对象数量未知的情况

6.3.2 可变大小数组

6.3.3 可变大小数组上的操作

6.3.4 示例：预测数量未知的新产品销售额

6.4 处理无限过程

6.4.1 Process特征

6.4.2 示例：一个健康时空过程

6.4.3 使用过程

6.5 小结

6.6 练习

第7章 面向对象概率建模

7.1 使用面向对象概率模型

7.1.1 理解面向对象建模的元素

7.1.2 重温打印机模型

7.1.3 关于多台打印机的推理

7.2 用关系扩展OO概率模型

7.2.1 描述通用类级模型

7.2.2 描述某种情况

7.2.3 用Figaro表现社会化媒体模型

7.3 建立关系和类型不确定性的模型

7.3.1 元素集合和引用

7.3.2 具有关系不确定性的社会化媒体模型

7.3.3 具有类型不确定性的打印机模型

7.4 小结

7.5 练习

第8章 动态系统建模

8.1 动态概率模型

8.2 动态模型类型

8.2.1 马尔科夫链

8.2.2 隐含马尔科夫模型

8.2.3 动态贝叶斯网络

8.2.4 结构随时间改变的模型

8.3 建立永续系统的模型

8.3.1 理解Figaro的宇宙概念

8.3.2 使用宇宙建立持续运行系统的模型

8.3.3 运行一个监控应用

8.4 小结

8.5 练习

第3部分 推理

第9章 概率推理三原则

9.1 链式法则：从条件概率分布构建联合分布

9.2 全概率公式：从联合分布获得简单查询结果

9.3 贝叶斯法则：从结果推断原因

9.3.1 理解、原因、结果和推理

9.3.2 实践中的贝叶斯法则

9.4 贝叶斯建模

9.4.1 估算硬币的偏差

9.4.2 预测下一次掷币结果

9.5 小结

9.6 练习

第10章 因子分解推理算法

10.1 因子

10.1.1 什么是因子

10.1.2 用链式法则分解概率分布

10.1.3 使用全概率公式，定义包含因子的查询

10.2 变量消除算法

10.2.1 VE的图形解释

10.2.2 VE代数运算

10.3 VE的使用

10.3.1 Figaro特有的VE考虑因素

10.3.2 设计模型支持高效的VE

10.3.3 VE的应用

10.4 置信传播

10.4.1 BP基本原理

10.4.2 Loopy BP的属性

10.5 BP的使用

10.5.1 Figaro特有的BP考虑因素

10.5.2 设计模型以支持高效的BP

10.5.3 BP的应用

10.6 小结

10.7 练习

第11章 抽样算法

11.1 抽样的原理

11.1.1 前向抽样

11.1.2 拒绝抽样

11.2 重要性抽样

11.2.1 重要性抽样的工作方式

11.2.2 在Figaro中使用重要性抽样

11.2.3 让重要性抽样为您工作

11.2.4 重要性抽样的应用

11.3 马尔科夫链蒙特卡洛抽样

11.3.1 MCMC的工作方式

11.3.2 Figaro的MCMC算法：Metropolis-Hastings算法

11.4 让MH更好地工作

11.4.1 自定义提议

11.4.2 避免硬条件

11.4.3 MH的应用

11.5 小结

11.6 练习

第12章 处理其他推理任务

12.1 计算联合分布

12.2 计算最可能的解释

12.2.1 在Figaro中计算和查询MPE

12.2.2 MPE查询算法的使用

12.2.3 探索MPE算法的应用

12.3 计算证据的概率

12.3.1 观察用于证据概率计算的证据

12.3.2 运行证据概率算法

12.4 小结

12.5 练习

第13章 动态推理和参数学习

13.1 监控动态系统的状态

13.1.1 监控机制

13.1.2 粒子过滤算法

13.1.3 过滤的应用

13.2 学习模型参数

13.2.1 贝叶斯学习

13.2.2 最大似然和MAP学习

13.3 进一步应用Figaro

13.4 小结

13.5 练习

附录A 获取和安装Scala和Figaro

A.1 使用sbt

A.2 在没有sbt的情况下安装和运行Figaro

A.3 从源代码编译

附录B 概率编程系统简况