大话存储：存储系统底层架构原理极限剖析(终极版)电子书

作者感言

序1

序2

序3

序4

关于书中的武侠情节

第1章 混沌初开——存储系统的前世今生

1.1 存储历史

1.2 信息、数据和数据存储

1.2.1 信息

1.2.2 什么是数据

1.2.3 数据存储

1.3 用计算机来处理信息、保存数据

第2章 IO大法——走进计算机IO世界

2.1 IO的通路——总线

2.2 计算机内部通信

2.2.1 IO总线是否可以看作网络

2.2.2 CPU、内存和磁盘之间通过网络来通信

2.3 网中之网

第3章 磁盘大挪移——磁盘原理与技术详解

3.1 硬盘结构

3.1.1 盘片上的数据组织

3.1.2 硬盘控制电路简介

3.1.3 磁盘的IO单位

3.2 磁盘的通俗演绎

3.3 磁盘相关高层技术

3.3.1 磁盘中的队列技术

3.3.2 无序传输技术

3.3.3 几种可控磁头扫描方式概论

3.3.4 关于磁盘缓存

3.3.5 影响磁盘性能的因素

3.4 硬盘接口技术

3.4.1 IDE硬盘接口

3.4.2 SATA硬盘接口

3.5 SCSI硬盘接口

3.6 磁盘控制器、驱动器控制电路和磁盘控制器驱动程序

3.6.1 磁盘控制器

3.6.2 驱动器控制电路

3.6.3 磁盘控制器驱动程序

3.7 内部传输速率和外部传输速率

3.7.1 内部传输速率

3.7.2 外部传输速率

3.8 并行传输和串行传输

3.8.1 并行传输

3.8.2 串行传输

3.9 磁盘的IOPS和传输带宽（吞吐量）

3.9.1 IOPS

3.9.2 传输带宽

3.10 固态存储介质和固态硬盘

3.10.1 SSD固态硬盘的硬件组成

3.10.2 从Flash芯片读取数据的过程

3.10.3 向Flash芯片中写入数据的过程

3.10.4 Flash芯片的通病

3.10.5 NAND与NOR

3.10.6 SSD给自己开的五剂良药

3.10.7 SSD如何处理Cell损坏

3.10.8 SSD的前景

3.11 Memblaze闪存产品介绍

3.11.1 技术能力

3.11.2 产品能力

3.12 小结：网中有网，网中之网

第4章 七星北斗——大话/详解七种RAID

4.1 大话七种RAID武器

4.1.1 RAID 0阵式

4.1.2 RAID 1阵式

4.1.3 RAID 2阵式

4.1.4 RAID 3阵式

4.1.5 RAID 4阵式

4.1.6 RAID 5阵式

4.1.7 RAID 6阵式

4.2 七种RAID技术详解

4.2.1 RAID 0技术详析

4.2.2 RAID 1技术详析

4.2.3 RAID 2技术详析

4.2.4 RAID 3技术详析

4.2.5 RAID 4技术详析

4.2.6 RAID 5技术详析

第5章 降龙传说——RAID、虚拟磁盘、卷和文件系统实战

5.1 操作系统中RAID的实现和配置

5.1.1 Windows Server 2003高级磁盘管理

5.1.2 Linux下软RAID配置示例

5.2 RAID卡

5.3 磁盘阵列

5.3.1 RAID 50

5.3.2 RAID 10和RAID 01

5.4 虚拟磁盘

5.4.1 RAID组的再划分

5.4.2 同一通道存在多种类型的RAID组

5.4.3 操作系统如何看待逻辑磁盘

5.4.4 RAID控制器如何管理逻辑磁盘

5.5 卷管理层

5.5.1 有了逻辑盘就万事大吉了么？

5.5.2 深入卷管理层

5.5.3 Linux下配置LVM实例

5.5.4 卷管理软件的实现

5.5.5 低级VM和高级VM

5.5.6 VxVM卷管理软件配置简介

5.6 大话文件系统

5.6.1 成何体统——没有规矩的仓库

5.6.2 慧眼识人——交给下一代去设计

5.6.3 无孔不入——不浪费一点空间

5.6.4 一箭双雕——一张图解决两个难题

5.6.5 宽容似海——设计也要像心胸一样宽

5.6.6 老将出马——权威发布

5.6.7 一统江湖——所有操作系统都在用

5.7 文件系统中的IO方式

第6章 阵列之行——大话磁盘阵列

6.1 初露端倪——外置磁盘柜应用探索

6.2 精益求精——结合RAID卡实现外置磁盘阵列

6.3 独立宣言——独立的外部磁盘阵列

6.4 双龙戏珠——双控制器的高安全性磁盘阵列

6.5 龙头凤尾——连接多个扩展柜

6.6 锦上添花——完整功能的模块化磁盘阵列

6.7 一脉相承——主机和磁盘阵列本是一家

6.8 天罗地网——SAN

第7章 熟读宝典——系统与系统之间的语言OSI

7.1 人类模型与计算机模型的对比剖析

7.1.1 人类模型

7.1.2 计算机模型

7.1.3 个体间交流是群体进化的动力

7.2 系统与系统之间的语言——OSI初步

7.3 OSI模型的七个层次

7.3.1 应用层

7.3.2 表示层

7.3.3 会话层

7.3.4 传输层

7.3.5 网络层

7.3.6 数据链路层

7.3.7 物理层

7.4 OSI与网络

第8章 勇破难关——FibreChannel协议详解

8.1 FC网络——极佳的候选角色

8.1.1 物理层

8.1.2 链路层

8.1.3 网络层

8.1.4 传输层

8.1.5 上三层

8.1.6 小结

8.2 FC协议中的七种端口类型

8.2.1 N端口和F端口

8.2.2 L端口

8.2.3 NL端口和FL端口

8.2.4 E端口

8.2.5 G端口

8.3 FC适配器

8.4 改造盘阵前端通路——SCSI迁移到FC

8.5 引入FC之后

8.6 多路径访问目标

8.7 FC交换网络节点4次Login过程简析

第9章 天翻地覆——FC协议的巨大力量

9.1 FC交换网络替代并行SCSI总线的必然性

9.1.1 面向连接与面向无连接

9.1.2 串行和并行

9.2 不甘示弱——后端也升级换代为FC

9.3 FC革命——完整的盘阵解决方案

9.3.1 FC磁盘接口结构

9.3.2 一个磁盘同时连入两个控制器的Loop中

9.3.3 共享环路还是交换——SBOD芯片级详解

9.4 SAS大革命

9.4.1 SAS物理层

9.4.2 SAS链路层

9.4.3 SAS网络层

9.4.4 SAS传输层和应用层

9.4.5 SAS的应用设计和实际应用示例

9.4.6 SAS目前的优势和面临的挑战

9.5 中高端磁盘阵列整体架构简析

9.5.1 IBM DS4800和DS5000控制器架构简析

9.5.2 NetApp FAS系列磁盘阵列控制器简析

9.5.3 IBM DS8000简介

9.5.4 富士通ETERNUSDX8000磁盘阵列控制器结构简析

9.5.5 EMC公司ClariionCX/CX3及DMX系列盘阵介绍

9.5.6 HDS公司AMS2000和USP系列盘阵介绍

9.5.7 HP公司MSA2000和EVA8000存储系统架构简介

9.5.8 传统磁盘阵列架构总结

9.6 磁盘阵列配置实践

9.6.1 基于IBM的DS4500盘阵的配置实例

9.6.2 基于EMC的CX700磁盘阵列配置实例

9.7 HBA卡逻辑架构详析与SANBoot示例

9.7.1 HBA卡逻辑架构

9.7.2 支持Boot的HBA卡访问流程

9.8 国产中高端FC磁盘阵列

9.8.1 Infortrend中低端ESDS系列存储系统

9.8.2 Infortrend中高端ESVA系列存储系统

9.8.3 Infortrend存储软件特性及配置界面

9.9 小结

第10章 三足鼎立——DAS、SAN和NAS

10.1 NAS也疯狂

10.1.1 另辟蹊径——乱谈NAS的起家

10.1.2 双管齐下——两种方式访问的后端存储网络

10.1.3 万物归一——网络文件系统

10.1.4 美其名曰——NAS

10.2 龙争虎斗——NAS与SAN之争

10.2.1 SAN快还是NAS快

10.2.2 SAN好还是NAS好

10.2.3 与SAN设备的通信过程

10.2.4 与NAS设备的通信过程

10.2.5 文件提供者

10.2.6 NAS的本质

10.3 DAS、SAN和NAS

10.4 最终幻想——将文件系统语言承载于FC网络传输

10.5 长路漫漫——存储系统架构演化过程

10.5.1 第一阶段：全整合阶段

10.5.2 第二阶段：磁盘外置阶段

10.5.3 第三阶段：外部独立磁盘阵列阶段

10.5.4 第四阶段：网络化独立磁盘阵列阶段

10.5.5 第五阶段：瘦服务器主机、独立NAS阶段

10.5.6 第六阶段：全分离式阶段

10.5.7 第七阶段：统一整合阶段

10.5.8 第八阶段：迅速膨胀阶段

10.5.9 第九阶段：收缩阶段

10.5.10 第十阶段：强烈坍缩阶段

10.6 泰山北斗——NetApp的NAS产品

10.6.1 WAFL配合RAID4

10.6.2 Data ONTAP利用了数据库管理系统的设计

10.6.3 利用NVRAM来记录操作日志

10.6.4 WAFL从不覆写数据

10.7 初露锋芒——BlueArc公司的NAS产品

10.8 宝刀未老——Infortrend公司NAS产品

第11章 大师之作——大话以太网和TCP/IP协议

11.1 共享总线式以太网

11.1.1 连起来

11.1.2 找目标

11.1.3 发数据

11.2 网桥式以太网

11.3 交换式以太网

11.4 TCP/IP协议

11.4.1 TCP/IP协议中的IP

11.4.2 IP的另外一个作用

11.4.3 TCP/IP协议中的TCP和UDP

11.5 TCP/IP和以太网的关系

第12章 异军突起——存储网络的新军IPSAN

12.1 横眉冷对——TCP/IP与FC

12.2 自叹不如——为何不是以太网+TCP/IP

12.3 天生我才必有用——攻陷DiskSAN阵地

12.4 iSCSI交互过程简析

12.4.1 实例一：初始化磁盘过程

12.4.2 实例二：新建一个文本文档

12.4.3 实例三：文件系统位图

12.5 iSCSI磁盘阵列

12.6IPSAN

12.7 增强以太网和TCP/IP的性能

12.8 FC SAN节节败退

12.9 iSCSI配置应用实例

12.9.1 第一步：在存储设备上创建LUN

12.9.2 第二步：在主机端挂载LUN

12.10 iSCSI卡Boot配置示例

12.11 10Gb以太网的威力初显

12.12 小结

第13章 握手言和——IP与FC融合的结果

13.1 FC的窘境

13.2 协议融合的迫切性

13.3 网络通信协议的四级结构

13.4 协议融合的三种方式

13.5 Tunnel和Map融合方式各论

13.5.1 Tunnel方式

13.5.2 Map方式

13.6 FC与IP协议之间的融合

13.7 无处不在的协议融合

13.8 交叉融合

13.9 IFCP和FCIP的具体实现

13.10 局部隔离/全局共享的存储网络

13.11 多协议混杂的存储网络

13.12 IP Over FC

13.13 FCoE

13.13.1 FcoE的由来

13.13.2 FcoE的设计框架

13.13.3 FcoE卡

13.13.4 FcoE交换机

13.13.5 解剖FCoE交换机

13.13.6 存储阵列设备端的改动

13.13.7 FcoE与iSCSI

13.13.8 FcoE的前景

13.13.9 Open FCoE

第14章 变幻莫测——虚拟化

14.1 操作系统对硬件的虚拟化

14.2 计算机存储子系统的虚拟化

14.3 带内虚拟化和带外虚拟化

14.4 硬网络与软网络

14.5 用多台独立的计算机模拟成一台虚拟计算机

14.6 用一台独立的计算机模拟出多台虚拟计算机

14.7 用磁盘阵列来虚拟磁带库

14.8 用控制器来虚拟其他磁盘阵列

14.9 飞康NSS存储虚拟化系统

14.9.1 存储虚拟化相关技术

14.9.2 数据保护相关技术和产品

14.9.3 异构迁移和容灾相关技术和产品

第15章 众志成城——存储集群

15.1 集群概述

15.1.1 高可用性集群（HAC）

15.1.2 负载均衡集群（LBC）

15.1.3 高性能集群（HPC）

15.2 集群的适用范围

15.3 系统路径上的集群各论

15.3.1 硬件层面的集群

15.3.2 软件层面的集群

15.4 实例：MicrosoftMSCS软件实现应用集群

15.4.1 在MicrosoftWindowsServer2003上安装MSCS

15.4.2 配置心跳网络

15.4.3 测试安装

15.4.4 测试故障转移

15.5 实例：SQLServer集群安装配置

15.5.1 安装SQLServer

15.5.2 验证SQL数据库集群功能

15.6 块级集群存储系统

15.6.1 IBM XIV集群存储系统

15.6.2 3PAR公司Inserv-T800集群存储系统

15.6.3 EMC公司SymmetrixV-MAX集群存储系统

15.7 集群NAS系统和集群文件系统

15.7.1 HP公司的Ibrix集群NAS系统

15.7.2 Panasas和pNFS

15.7.3 此"文件系统"非彼"文件系统"

15.7.4 什么是SingleNameSpace

15.7.5 Single Filesystem Image与Single Path Image

15.7.6 集群中的分布式锁机制

15.7.7 集群文件系统的缓存一致性

15.7.8 集群NAS的本质

15.7.9 块级集群与NAS集群的融合猜想

15.8 对象存储系统

15.9 当前主流的集群文件系统架构分类与对比

15.9.1 共享与非共享存储型集群

15.9.2 对称式与非对称式集群

15.9.3 自助型与服务型集群

15.9.4 SPI与SFI型集群

15.9.5 串行与并行集群

15.9.6 集群/并行/分布式/共享文件系统各论

15.9.7 集群NAS系统的三层架构

15.9.8 实际中的各种集群拓扑一览

15.10 带外共享SAN文件系统

15.10.1 SAN共享文件系统

15.10.2 针对NAS和SAN文件系统的并行化改造

15.10.3 SAN FS实例分析

15.11 集群的本质——一种自组自控轮回的Raid

15.11.1 三统理论

15.11.2 并行的不仅可以是文件

15.11.3 集群底层与上层解耦

15.11.4 云基础架构

15.12 纯软Scale-OutSAN

15.13 互联网运营商的特殊集群——NoSQL

第16章 未雨绸缪——数据保护和备份技术

16.1 数据保护

16.1.1 文件级备份

16.1.2 块级备份

16.2 高级数据保护方法

16.2.1 远程文件复制

16.2.2 远程磁盘（卷）镜像

16.2.3 快（块）照数据保护

16.2.4 卷Clone

16.2.5 Continuous Data Protect（CDP，连续数据保护）

16.2.6 VSS公共快照服务

16.2.7 快照、克隆、CDP与平行宇宙

16.2.8 高帧率IO级数据录像

16.3 数据备份系统的基本要件

16.3.1 备份目标

16.3.2 备份通路

16.3.3 备份引擎

16.3.4 三种备份方式

16.3.5 数据备份系统案例一

16.3.6 数据备份系统案例二

16.3.7 NetBackup配置指南

16.3.8 配置DB2数据库备份

16.4 与业务应用相结合的快照备份和容灾

第17章 愚公移山——大话数据容灾

17.1 容灾概述

17.2 生产资料容灾——原始数据的容灾

17.2.1 通过主机软件实现前端专用网络或者前端公用网络同步

17.2.2 案例：DB2数据的HADR组件容灾

17.2.3 通过主机软件实现后端专用网络同步

17.2.4 通过数据存储设备软件实现专用网络同步

17.2.5 案例：IBM公司RemoteMirror容灾实施

17.2.6 小结

17.3 容灾中数据的同步复制和异步复制

17.3.1 同步复制例解

17.3.2 异步复制例解

17.4 容灾系统数据一致性保证与故障恢复机制

17.4.1 数据一致性问题的产生

17.4.2 对异步数据复制过程中一致性保证的实现方式

17.4.3 灾难后的切换与回切同步过程

17.4.4 周期性异步复制与连续异步复制

17.5 四大厂商的数据容灾系统方案概述

17.5.1 IBM公司的PPRC

17.5.2 EMC公司的MirrorView、SanCopy和SRDF

17.5.3 HDS公司的Truecopy

17.5.4 NetApp公司的Snapmirror

17.6 生产者的容灾——服务器应用程序的容灾

17.6.1 生产者容灾概述

17.6.2 案例一：基于Symantec公司的应用容灾产品VCS①

17.6.3 案例二：基于Symantec公司的应用容灾产品VCS②

17.7 虚拟容灾技术

17.8 一体化先行军——爱数一体化备份存储柜

17.8.1 爱数备份存储柜3.5产品架构分析

17.8.2 爱数备份存储柜v3.5独特技术

17.8.3 国产存储的方向

17.9 Infortrend RR远程复制技术

17.10 飞康RecoverTrac容灾管理系统

17.11 带宽、延迟及其影响

第18章 鬼斧神工——数据前处理与后处理

18.1 数据存储和数据管理

18.2 存储系统之虚实阴阳论

18.3 Data Cooker各论

18.3.1 Thin Provision/Over Allocation

18.3.2 LUN Space Reclaiming（Unprovision/Deprovision,Get Thin）

18.3.3 Tier（分级）/Migrating（迁移）

18.3.4 Deduplication（重复数据删除）

18.3.5 磁盘数据一致性保护及错误恢复

第19章 过关斩将——系统IO路径及优化

19.1 理解并记忆主机端IO路径架构图

19.1.1 应用程序层

19.1.2 文件系统层

19.1.3 卷管理层

19.1.4 层与层之间的调度员：IOManager

19.1.5 底层设备驱动层

19.2 理解并记忆存储端IO路径架构图

19.2.1 物理磁盘层

19.2.2 物理磁盘组织层

19.2.3 后端磁盘控制器/适配器层

19.2.4 RAID管理层

19.2.5 LUN管理层

19.2.6 前端接口设备及驱动层

19.2.7 缓存管理层

19.2.8 数据前处理和后处理层

19.2.9 存储系统处理一个IO的一般典型流程

19.3 IO性能问题诊断总论

19.3.1 所谓"优化"的含义

19.3.2 如何发现系统症状

19.3.3 六剂良药治愈IO性能低下

19.3.4 面向SSD的IO处理过程优化

19.4 小结：再论机器世界与人类世界

第20章 腾云驾雾——大话云存储

20.1 太始之初——"云"的由来

20.1.1 观点1：云即设备

20.1.2 观点2：云即集群

20.1.3 观点3：云即IT系统

20.1.4 观点4：云即服务

20.1.5 云目前最主流的定义

20.2 混沌初开——是谁催生了云

20.2.1 一切皆以需求为导向

20.2.2 云对外表现为一种商业模式

20.3 落地生根——以需求为导向的系统架构变化

20.3.1 云对内表现为一种技术架构

20.3.2 云到底是模式还是技术

20.3.3 公有云和私有云

20.4 拨云见日——云系统架构及其组成部分

20.4.1 物理支撑层

20.4.2 基础IT架构层

20.4.3 基础架构/集群管理层

20.4.4 资源部署层

20.4.5 中间件层

20.4.6 应用引擎层

20.4.7 业务展现与运营层

20.5 真相大白——实例说云

20.5.1 3Tera Applogic

20.5.2 IBM Blue Could

20.6 乘风破浪——困难还是非常多的

20.6.1 云的优点

20.6.2 云目前存在的问题

20.7 千年之梦——云今后的发展

20.7.1 云本质思考

20.7.2 身边的各种云服务

20.7.3 进化还是退化

20.7.4 云发展展望

20.7.5 Micro、Mini、Normal、Huge、Gird弹性数据中心

20.7.6 弹性层的出现将会让数据中心拥有两套性能指标

20.8 尘埃落定——云所体现出来的哲学思想

20.8.1 轮回往复——云的哲学形态

20.8.2 智慧之云——云的最终境界

20.8.3 云在哲学上所具有的性质

20.8.4 云基础架构的艺术与哲学意境

20.8.5 纵观存储发展时代——云发展预测

20.9 结束语

附录1 存储系统问与答精华集锦

附录2 IP硬盘——玩玩还是来真的？

附录3 新技术将如何影响数据中心存储系统

后记