大话存储：网络存储系统原理精解与最佳实践

《大话存储：网络存储系统原理精解与最佳实践》用独特的写作方式通俗地诠释了这些晦涩、枯燥的难点技术并提供了许多前所未有的操作实践和《大话存储》作者长期从事存储工作的一些经验点滴。
《大话存储：网络存储系统原理精解与最佳实践》适合初入存储行业的技术工程师、售前工程师和销售人员阅读，同时适合资深存储行业人士用以提高技能，另外，网络工程师、网管、服务器软硬件开发与销售人员、Web开发者、数据库开发者以及相关专业师生等也非常适合阅读《大话存储：网络存储系统原理精解与最佳实践》。
国内首次全面披露网络存储深层技术细节。
特立独行的行文风格，一针见血的诠释技术。
网络存储和存储网络，谈笑间难点灰飞烟灭。
全面解密SAN、NAS系统。
涉及众多底层细节，中文资料独家提供。
提供最佳操作实践，严禁纸上谈兵。
四大网站《大话存储：网络存储系统原理精解与最佳实践》技术讨论专题，你不是一个人在战斗。

网络存储，是近二十年来的新兴行业。从纸带到硬盘再到大型磁盘阵列，存储系统经历了从简单到复杂，从单块硬盘到存储区域网络（SAN）。网络存储行业目前已经是一个步入正轨的IT行业了。
网络存储是一个涉及计算机硬件以及网络协议/技术、操作系统以及专业软件等各方面综合知识的领域。目前国内阐述网络存储的书籍少之又少，大部分是国外作品，对存储系统底层细节的描述不够深入，加之术语太多，初学者很难真正理解网络存储的精髓。
《大话存储：网络存储系统原理精解与最佳实践》以特立独行的行文风格向读者阐述了整个网络存储系统。从硬盘到应用程序，这条路径上的每个节点，作者都进行了阐述。书中内容涉及：计算机IO基本概念，硬盘物理结构、盘片数据结构和工作原理，七种常见RAID原理详析以及性能细节对比，虚拟磁盘、卷和文件系统原理，磁盘阵列系统，OSI模型，FC协议，众多磁盘阵列架构，SAN和NAS系统，TCP和以太网以及IP SAN，协议融合理论，存储虚拟化，存储及服务器群集，数据保护和备份技术，快照技术，数据容灾技术。
本书用独特的写作方式通俗地诠释了这些晦涩、枯燥的难点技术并提供了许多前所未有的操作实践和本书作者长期从事存储工作的一些经验点滴。
本书适合初入存储行业的技术工程师、售前工程师和销售人员阅读，同时适合资深存储行业人士用以提高技能，另外，网络工程师、网管、服务器软硬件开发与销售人员、Web开发者、数据库开发者以及相关专业师生等也非常适合阅读本书。

张冬，男，网名冬瓜头，资深系统工程师。1981年生于山东青岛，毕业于青岛科技大学，现就职于NetApp。大版主，版主，多年来醉心于存储技术的研究与讨论。曾在多个杂志报刊发表存储相关的文章。
主要项目背景
作者精通网络互联技术、存储系统、网络存储系统。曾在某知名企业担任DB2数据库管理员，期间设计并主持实施了DB2数据库以及SAP系统的整合容灾项目。
曾在中国航信担任民航NG（Next Generation）离港系统开发项目的UTS/ALC/MATIP等通信协议和系统架构咨询顾问，为我国自主研发的打破国际垄断的新一代高实时性离港系统提供了关键技术支持。得益于作者深厚的讲授和文档功底，使得开发人员编写代码时如鱼得水。

冬瓜头是DOSTOR存储论坛的热心人，多年来一直战斗在网络存储领域最前线，相信《大话存储》是一本对中国存储行业很有价值的图书。
——存储在线（Dostor.com）总裁兼CEO 郑信武
认识冬瓜头的日子不算短了，印象中他一直是一个很勤奋好学的人，涉足很多领域，结交了不少国内外工程师，理论和实践都很棒，也时常从他的一些文章中学到不少东西。那些刚走上这个行业的同学，或许还不知道如何面对各种挑战，那么我建议阅读这本书。不同于填鸭式的教育，也不同于那些所谓纸上谈兵的秘籍。这是一个从业多年的工程师的经验与感悟，相信不会让大家失望……
——Cisco网络技术论坛（Net130）站长：Cisconet
这本书对网络存储行业很有影响力，博大精深的内容难以想象用这种方式来诠释。我绝对相信这是行业里非常有价值的一本书。
——LoveUnix站长：老农
从冬瓜头在CU论坛存储版的人气可以知道，这是一位热血高手！欲知如何把网络存储的方方面面融会贯通成一本书？让我们来共同关注《大话存储》！
——ChinaUnix.net站长： 樊强

第1章 盘古开天——存储系统的前世今生 1
1.1 存储历史. 2
1.2 信息. 数据和数据存储 5
1.2.1 信息 5
1.2.2 什么是数据 7
1.2.3 数据存储 7
1.3 用计算机来处理信息. 保存数据 8

第2章 IO大法——走进计算机IO世界 11
2.1 IO的通路——总线 12
2.2 计算机内部通信 13
2.2.1 IO总线可以看作网络么 14
2.2.2 CPU. 内存和磁盘之间通过网络来通信 15
2.3 网中之网 17

第3章 磁盘大挪移——磁盘原理与技术详解 19
3.1 硬盘结构 20
3.1.1 盘片上的数据组织 22
3.1.2 硬盘控制电路简介 28
3.1.3 磁盘的IO单位 29
3.2 磁盘的通俗演绎 30
3.3 磁盘相关高层技术 32
3.3.1 磁盘中的队列技术 32
3.3.2 无序传输技术 33
3.3.3 几种可控磁头扫描方式评论 34
3.3.4 关于磁盘缓存 36
3.3.5 影响磁盘性能的因素 36
3.4 硬盘接口技术 37
3.4.1 IDE硬盘接口 37
3.4.2 SATA硬盘接口 40
3.5 SCSI硬盘接口 43
3.6 磁盘控制器. 驱动器控制电路和磁盘控制器驱动程序 50
3.6.1 磁盘控制器 50
3.6.2 驱动器控制电路 51
3.6.3 磁盘控制器驱动程序 51
3.7 内部传输速率和外部传输速率 53
3.7.1 内部传输速率 53
3.7.2 外部传输速率 54
3.8 并行传输和串行传输 54
3.8.1 并行传输 54
3.8.2 串行传输 55
3.9 磁盘的IOPS和传输带宽(吞吐量) 56
3.9.1 IOPS 56
3.9.2 传输带宽 57
3.10 小结：网中有网， 网中之网 58

第4章 七星北斗——大话/详解七种RAID 59
4.1 大话七种RAID武器 60
4.1.1 RAID 0阵式 60
4.1.2 RAID 1阵式 62
4.1.3 RAID 2阵式 64
4.1.4 RAID 3阵式 67
4.1.5 RAID 4阵式 71
4.1.6 RAID 5阵式 72
4.1.7 RAID 6阵式 76
4.2 七种RAID技术详解 78
4.2.1 RAID 0技术详析 80
4.2.2 RAID 1技术详析 82
4.2.3 RAID 2技术详析 83
4.2.4 RAID 3技术详析 85
4.2.5 RAID 4技术详析 87
4.2.6 RAID 5技术详析 90
4.2.7 RAID 6技术详析 93

第5章 降龙传说——RAID. 虚拟磁盘. 卷和文件系统实战 95
5.1 操作系统中RAID的实现和配置 96
5.1.1 Windows Server 2003高级磁盘管理 96
5.1.2 Linux下软RAID配置示例 105
5.2 RAID卡 107
5.3 磁盘阵列 119
5.4 实现更高级的RAID 119
5.4.1 RAID 50 119
5.4.2 RAID 10和RAID 01 120
5.5 虚拟磁盘 120
5.5.1 RAID组的再划分 121
5.5.2 同一通道存在多种类型的RAID组 121
5.5.3 操作系统如何看待逻辑磁盘 122
5.5.4 RAID控制器如何管理逻辑磁盘 122
5.6 卷管理层 123
5.6.1 有了逻辑盘就万事大吉 124
5.6.2 卷管理层 125
5.6.3 Linux下配置LVM实例 126
5.6.4 卷管理软件的实现 128
5.6.5 低级VM和高级VM 130
5.6.6 VxVM卷管理软件配置简介 131
5.7 大话文件系统 134
5.7.1 成何体统——没有规矩的仓库 134
5.7.2 慧眼识人——交给下一代去设计 135
5.7.3 无孔不入——不浪费一点空间 136
5.7.4 一箭双雕——一张图解决两个难题 137
5.7.5 宽容似海——设计也要像心胸一样宽 139
5.7.6 老将出马——权威发布 139
5.7.7 一统江湖——所有操作系统都在用 140
5.8 文件系统中的IO方式 140

第6章 阵列之行——大话磁盘阵列 143
6.1 初露端倪——外置磁盘柜应用探索 144
6.2 精益求精——结合RAID卡实现外置磁盘阵列 145
6.3 独立宣言——独立的外部磁盘阵列 147
6.4 双龙戏珠——双控制器的高安全性磁盘阵列 149
6.5 龙头凤尾——连接多个扩展柜 150
6.6 锦上添花——完整功能的模块化磁盘阵列 152
6.7 一脉相承——主机和磁盘阵列本是一家 153
6.8 天罗地网——SAN(Storage Area Network)存储区域网络 154

第7章 熟读宝典——系统与系统之间的语言OSI 155
7.1 人类模型与计算机模型的对比剖析 156
7.1.1 人类模型 156
7.1.2 计算机模型 157
7.1.3 个体间交流是群体进化的动力 158
7.2 系统与系统之间的语言——OSI初步 158
7.3 OSI模型的七个层次 159
7.3.1 应用层 160
7.3.2 表示层 160
7.3.3 会话层 160
7.3.4 传输层 160
7.3.5 网络层 161
7.3.6 数据链路层 162
7.3.7 物理层 165
7.4 OSI与网络 166

第8章 勇破难关——Fibre Channel协议详解 169
8.1 FC网络——极佳的候选角色 170
8.1.1 物理层 170
8.1.2 链路层 171
8.1.3 网络层 172
8.1.4 传输层 178
8.1.5 上三层 179
8.1.6 小结 179
8.2 FC协议中的七种端口类型 180
8.2.1 N端口和F端口 180
8.2.2 L端口 180
8.2.3 NL端口和FL端口 181
8.2.4 E端口 183
8.2.5 G端口 183
8.3 FC适配器 184
8.4 改造盘阵前端通路——SCSI迁移到FC 185
8.5 引入FC之后 186

第9章 天翻地覆——FC协议的巨大力量 191
9.1 FC交换网络替代并行SCSI总线的必然性 192
9.1.1 面向连接与面向无连接 192
9.1.2 串行和并行 193
9.2 不甘示弱——后端也升级换代为FC 193
9.3 FC革命——完整的盘阵解决方案 195
9.3.1 FC磁盘接口结构.. 195
9.3.2 一个磁盘同时连入两个控制器的Loop中 196
9.3.3 共享环路还是交换——SBOD芯片级详解 197
9.4 中高端磁盘阵列整体架构简析 208
9.4.1 IBM DS4800控制器架构简析 209
9.4.2 NetApp FAS系列磁盘阵列控制器简析 212
9.4.3 IBM DS8000简介 213
9.4.4 富士通ETERNUS6000磁盘阵列控制器结构简析 214
9.4.5 EMC公司CX及DMX系列盘阵介绍 216
9.4.6 HDS公司USP系列盘阵介绍 217
9.5 磁盘阵列配置实践 218
9.5.1 基于IBM的DS4500盘阵的配置实例 218
9.5.2 基于EMC的CX700磁盘阵列配置实例 227
9.6 小结 230

第10章 三足鼎立——DAS， SAN和NAS 233
10.1 NAS也疯狂 234
10.1.1 另辟蹊径——乱弹NAS的起家 234
10.1.2 双管齐下——两种方式访问的后端存储网络 237
10.1.3 万物归一——网络文件系统 238
10.1.4 美其名曰——NAS(Network Attached Storage网络附加存储) 246
10.2 龙争虎斗——NAS与SAN之争 247
10.3 三足鼎立——DAS. SAN和NAS 250
10.4 最终幻想——将文件系统语言承载于FC网络传输 251
10.5 长路漫漫——系统架构进化过程 251
10.5.1 第一阶段：全整合阶段 252
10.5.2 第二阶段：磁盘外置阶段 252
10.5.3 第三阶段：外部独立磁盘阵列阶段 252
10.5.4 第四阶段：网络化独立磁盘阵列阶段 253
10.5.5 第五阶段：瘦服务器主机. 独立NAS阶段 253
10.5.6 第六阶段：全分离式架构 253
10.5.7 第七阶段：能量积聚， 混沌阶段 254
10.5.8 第八阶段：收缩阶段 254
10.5.9 第九阶段：强烈坍缩阶段 255
10.6 泰山北斗——NetApp的NAS产品 255
10.6.1 WAFL配合RAID 4 256
10.6.2 Data ONTAP利用了数据库管理系统的设计 257
10.6.3 利用NVRAM来记录操作日志 257
10.6.4 WAFL从不覆写数据 258
10.7 初露锋芒——BlueArc公司的NAS产品 258

第11章 大师之作——大话以太网和TCP/IP协议 261
11.1 共享总线式以太网 262
11.1.1 连起来 262
11.1.2 找目标 262
11.1.3 发数据 263
11.2 网桥式以太网 264
11.3 交换式以太网 265
11.4 TCP/IP协议 266
11.4.1 TCP/IP协议中的IP 266
11.4.2 IP的另外一个作用 267
11.4.3 TCP/IP协议中的TCP和UDP 268
11.5 TCP/IP和以太网的关系 271

第12章 异军突起——存储网络的新军IP SAN 273
12.1 横眉冷对——TCP/IP与FC 274
12.2 自叹不如——为何不是以太网+TCP/IP 274
12.3 天生我才必有用——攻陷Disk SAN阵地 275
12.4 ISCSI交互过程简析 275
12.4.1 实例一：初始化磁盘过程 276
12.4.2 实例二：新建一个文本文档 278
12.4.3 实例三：文件系统位图 281
12.5 ISCSI磁盘阵列 283
12.6 IP SAN 284
12.7 增强以太网和TCP/IP的性能 285
12.8 FC SAN节节败退 286
12.9 ISCSI配置应用实例 287
12.9.1 第一步：在存储设备上创建LUN 287
12.9.2 第二步：在主机端挂载LUN 289
12.10 小结 292

第13章 握手言和——IP与FC融合的结果 293
13.1 FC的窘境 294
13.2 协议融合的迫切性 295
13.3 网络通信协议的四级结构 299
13.4 协议融合的三种方式 300
13.5 Tunnel和Map融合方式各论 301
13.5.1 Tunnel方式 302
13.5.2 Map方式 303
13.6 FC与IP协议之间的融合 305
13.7 无处不在的协议融合 306
13.8 交叉融合 306
13.9 IFCP和FCIP的具体实现 307
13.10 局部隔离/全局共享的存储网络 309
13.11 多协议混杂的存储网络 310

第14章 变幻莫测——虚拟化 313
14.1 操作系统对硬件的虚拟化 314
14.2 计算机存储子系统的虚拟化 316
14.3 带内虚拟化和带外虚拟化 319
14.4 硬网络与软网络 323
14.5 用多台独立的计算机模拟成一台虚拟计算机 323
14.6 用一台独立的计算机模拟出多台虚拟计算机 324
14.7 用磁盘阵列来虚拟磁带库 324
14.7.1 NetApp VTL700配置使用实例 325

第15章 众志成城——存储群集 337
15.1 群集概述 338
15.1.1 高可用性群集(HAC) 338
15.1.2 负载均衡群集(LBC) 338
15.1.3 高性能群集(HPC) 338
15.2 群集的适用范围 339
15.3 系统路径上的群集各论 339
15.3.1 硬件层面的群集 339
15.3.2 软件层面的群集 341
15.4 实例：Microsoft MSCS软件实现应用群集 341
15.4.1 在Microsoft Windows Server 2003上安装MSCS 342
15.4.2 配置心跳网络 344
15.4.3 测试安装 344
15.4.4 测试故障转移 345
15.5 实例：SQL Server群集安装配置 345
15.5.1 安装SQL Server 345
15.5.2 验证SQL 数据库群集功能 348
15.6 小结：世界本身就是一个群集 351

第16章 未雨绸缪——数据保护和备份技术 353
16.1 数据保护 354
16.1.1 数据保护的方法 354
16.2 高级数据保护方法 355
16.2.1 远程文件复制 355
16.2.2 远程磁盘(卷)镜像 356
16.2.3 块(快)照数据保护 356
16.2.4 Continuous Data Protect(CDP， 连续数据保护) 363
16.3 数据备份系统的基本要件 367
16.3.1 备份目的 368
16.3.2 备份通路 371
16.3.3 备份引擎 373
16.3.4 三种备份方式 377
16.3.5 数据备份系统案例一 378
16.3.6 数据备份系统案例二 379
16.3.7 NetBackup配置指南 380
16.3.8 配置DB2数据库备份 392

第17章 愚公移山——大话数据容灾 399
17.1 容灾概述 400
17.2 生产资料容灾——原始数据的容灾 401
17.2.1 通过主机软件实现前端专用网络或者前端公用网络同步 402
17.2.2 案例：DB2数据的HADR组件容灾 405
17.2.3 通过主机软件实现后端专用网络同步 411
17.2.4 通过数据存储设备软件实现专用网络同步 415
17.2.5 案例：IBM公司Remote Mirror容灾实施 416
17.2.6 小结 421
17.3 容灾中数据的同步复制和异步复制 421
17.3.1 同步复制例解 421
17.3.2 异步复制例解 423
17.4 生产者的容灾——服务器应用程序的容灾 424
17.4.1 生产者容灾概述 424
17.4.2 案例一：基于Symantec公司的应用容灾产品VCS 428
17.4.3 案例二：基于Symantec公司的应用容灾产品VCS 431
附录 五百年后——系统架构将
走向何方 435
后记

在早期的硬盘管理工作中，设置交叉因子需要用户自己完成。用BIOS中的低级格式化程序对硬盘进行低级格式化时，就需要指定交叉因子，有时还需要设置几种不同的值来比较其性能，而后确定一个比较好的值。现在的硬盘BIOS已经自己解决了这个问题，所以一般低级格式化程序中就不再提供这一设置选项了。
系统将文件存储到磁盘上时，是按柱面、磁头、扇区方式进行的，即最先是第1磁道的第1磁头下（也就是第1盘面的第一磁道1所有的扇区，然后是同一柱面的下一磁头，直到整个柱面都存满。系统也是以相同的顺序去读出数据。读数据时通过告诉磁盘控制器要读出数据所在的柱面号、磁头号和扇区号（物理地址的三个组成部分）进行读取（现在都是直接使用LBA地址来告诉磁盘所要读写的扇区）。磁盘控制电路则直接将磁头部件步进到相应的柱面，选中相应磁头，然后立即读取当前磁头下所有的扇区头标地址，然后把这些头标中的地址信息与期待检出的磁头和柱面号做比较。如果不是要读写的扇区号则读取扇区头标地址进行比较，直到相同以后，控制电路知道当前磁头下的扇区就是要读写的扇区，然后立即让磁头读写数据。
如果是读数据，控制电路会计算此数据的ECC码，然后把ECC码与已记录的ECC码相比较；如果是写数据，控制电路会计算出此数据的ECC码，存储到数据部分的末尾。在控制电路对此扇区中的数据进行必要的处理期间，磁盘会继续旋转。由于对信息的后处理需要耗费一定的时间，在这段时间内磁盘可能已旋转了相当的角度。
交叉因子的确定是一个系统级的问题。一个特定的硬盘驱动器的交叉因子取决于磁盘控制器的速度、主板的时钟速度、与控制电路相连的输出总线的操作速度等。如果磁盘的交叉因子值太高，就需多花一些时间等待数据在磁盘上存入和读出。相反，太低也同样会影响性能。
前面已经说过，系统在磁盘上写入信息时，写满一个磁道后会转到同一柱面的下一个磁头，当柱面写满时，再转向下一柱面。从同一盘面的一个磁道转到另一个磁道，也就是从一个柱面转到下一个柱面，这个动作叫做换道。在换道期间磁盘始终保持旋转，这就会带来一个问题：假定系统刚刚结束了对一个磁道前一个扇区的写入，并且已经设置了最佳交叉因子比值，现在准备在下一磁道的第一扇区写入，这时必须等到磁头换道结束，让磁头部件重新定位在下一道上。如果这种操作占用的时间超过了一点，尽管是交叉存取，磁头仍会延迟到达。这个问题的解决办法是以原先磁道所在位置为基准，把新的磁道上全部扇区号移动约一个或几个扇区位置，这就是磁头扭斜。磁头扭斜可以理解为柱面与柱面之间的交叉因子，已经由生产厂家设置好，一般不用去改变它。磁头扭斜的更改比较困难，但是它们只在文件很长、超过磁道结尾进行读出和写入时才发挥作用，所以扭斜设置不正确所带来的时间损失比采用不正确的扇区交叉因子值带来的损失要小得多。交叉因子和磁头扭斜可用专用工具软件来测试和更改，更具体的内容这里就不再详述了，毕竟现在很多用户都没有见过这些参数。

第一次接触张冬，是在2007年8月，张冬QQ加我，说有本书问我感不感兴趣。所有编辑可能都对送上门的没有经手策划的书主观的轻视，况且是这样一个“非主流”的选题。经过长时间的沟通，我发现这是个真诚且严谨的家伙，同时在论坛中我发现张冬的作品负面评价很少，而且人气很高。记得无论我什么时候上线，他总在，这又是一个十分努力的家伙。另外，我了解到，张冬在丌行业算是半路出家，他是化学专业出身，但就是这样一个跨行业的人，却能用清晰的文笔来描述网络存储这样相对晦涩的技术!。
一个真诚。严谨且努力的技术高手……这样的人的作品怎么会不好呢?
一个脱离技术多年的策划编辑凭什么为一本技术性很强的IT图书作序?汗颜……我以前也研究过“存储”，仅仅局限于硬盘结构，10年前写的《实战DEBUG》。《汇编语言超浓缩敦程》系列文章涉及到对硬盘的分析和操作，这些文章现在在网上还能找到，也经常有朋友或作者跟我聊起来，得意洋洋……曾经立志成为存储达人，然而天赋有限，未遂。
张冬的作品从收到稿件阅读第一章开始，我就感觉这一定是本好书。是当年梦寐以求的资源。难得的是，这本书的行文异乎寻常的流畅，以致我曾经问过张冬：“小样儿，你是学中文的吧?”一本专业性极强的图书，最关键的就是要把问题讲清楚。
张冬用一种“另类”的方式对一些晦涩的概念和理论进行了重新包装。充斥着“庸俗的”解释与描述，比如：数据包在网络中的流动过程——是对照快递公司的业务流程比对讲解的，容易理解而且印象深刻。
另外，这本书提供了一些培训级别的操作。大家知道类似网络存储这种规模的部分操作，很少能在家里用PC来进行实际操作(当然模拟练习还是可以的)，张冬有条件在这样的专业操作环境进行操作步骤的整理，这些细致的重量级操作也是本书另外的价值所在。
信息存储是这个世界的未来，将来我们的一举一动的背后都会伴随大量的信息存储行为，存储已经成为了一个行业，任何动作都离不开它。现在，网络工程师，网管，Web开发者，数据库开发者，软件开发(特别是网络应用)者都必须掌握网络存储的一些细节，可以说基本上所有IT技术从业者都需要或多或少地了解存储。这一定会是个广大的市场，或者说已经是广大市场了。
这样的一本书，我希望并且相信会给大家的学习带来帮助，也相信这样一本特立独行的好书能够让大家很多年以后还能回忆起来并津津乐道地向朋友推荐。