深入浅出DPDK

本书汇聚了资深的DPDK技术专家的精辟见解和实战体验，详细介绍了DPDK技术的发展趋势、数据包处理、硬件加速技术、虚拟化，以及DPDK技术在SDN、NFV、网络存储等领域的实际应用。作为国内全面阐述网络数据面核心技术的书籍，本书主要面向IT、网络通信行业的从业人员，以及大专院校的学生。

序言
引言
作者介绍
第一部分DPDK基础篇
第1章认识DPDK 3
1.1主流包处理硬件平台 3
1.1.1硬件加速器 4
1.1.2网络处理器 4
1.1.3多核处理器 5
1.2初识DPDK 7
1.2.1IA不适合进行数据包处理吗 7
1.2.2DPDK最佳实践 9
1.2.3DPDK框架简介 10
1.2.4寻找性能优化的天花板 11
1.3解读数据包处理能力 12
1.4探索IA处理器上最艰巨的任务 13
1.5软件包处理的潜力——再识DPDK 14
1.5.1DPDK加速网络节点 14
1.5.2DPDK加速计算节点 15
1.5.3DPDK加速存储节点 15
1.5.4DPDK的方法论 16
1.6从融合的角度看DPDK 16
1.7实例 17
1.7.1HelloWorld 17
1.7.2Skeleton 19
1.7.3L3fwd 22
1.8小结 25
第2章Cache和内存 26
2.1存储系统简介 26
2.1.1系统架构的演进 26
2.1.2内存子系统 28
2.2Cache系统简介 29
2.2.1Cache的种类 29
2.2.2TLB Cache 30
2.3Cache地址映射和变换 31
2.3.1全关联型Cache 32
2.3.2直接关联型Cache 32
2.3.3组关联型Cache 33
2.4Cache的写策略 34
2.5Cache预取 35
2.5.1Cache的预取原理 35
2.5.2NetBurst架构处理器上的预取 36
2.5.3两个执行效率迥异的程序 37
2.5.4软件预取 38
2.6Cache一致性 41
2.6.1Cache Line对齐 41
2.6.2Cache一致性问题的由来 42
2.6.3一致性协议 43
2.6.4MESI协议 44
2.6.5DPDK如何保证Cache一致性 45
2.7TLB和大页 47
2.7.1逻辑地址到物理地址的转换 47
2.7.2TLB 48
2.7.3使用大页 49
2.7.4如何激活大页 49
2.8DDIO 50
2.8.1时代背景 50
2.8.2网卡的读数据操作 51
2.8.3网卡的写数据操作 53
2.9NUMA系统 54
第3章并行计算 57
3.1多核性能和可扩展性 57
3.1.1追求性能水平扩展 57
3.1.2多核处理器 58
3.1.3亲和性 61
3.1.4DPDK的多线程 63
3.2指令并发与数据并行 66
3.2.1指令并发 67
3.2.2单指令多数据 68
3.3小结 70
第4章同步互斥机制 71
4.1原子操作 71
4.1.1处理器上的原子操作 71
4.1.2Linux内核原子操作 72
4.1.3DPDK原子操作实现和应用 74
4.2读写锁 76
4.2.1Linux读写锁主要API 77
4.2.2DPDK读写锁实现和应用 78
4.3自旋锁 79
4.3.1自旋锁的缺点 79
4.3.2Linux自旋锁API 79
4.3.3DPDK自旋锁实现和应用 80
4.4无锁机制 81
4.4.1Linux内核无锁环形缓冲 81
4.4.2DPDK无锁环形缓冲 82
4.5小结 89
第5章报文转发 90
5.1网络处理模块划分 90
5.2转发框架介绍 91
5.2.1DPDK run to completion模型 94
5.2.2DPDK pipeline模型 95
5.3转发算法 97
5.3.1精确匹配算法 97
5.3.2最长前缀匹配算法 100
5.3.3ACL算法 102
5.3.4报文分发 103
5.4小结 104
第6章PCIe与包处理I/O 105
6.1从PCIe事务的角度看包处理 105
6.1.1PCIe概览 105
6.1.2PCIe事务传输 105
6.1.3PCIe带宽 107
6.2PCIe上的数据传输能力 108
6.3网卡DMA描述符环形队列 109
6.4数据包收发——CPU和I/O的协奏 111
6.4.1全景分析 111
6.4.2优化的考虑 113
6.5PCIe的净荷转发带宽 113
6.6Mbuf与Mempool 114
6.6.1Mbuf 114
6.6.2Mempool 117
6.7小结 117
第7章网卡性能优化 118
7.1DPDK的轮询模式 118
7.1.1异步中断模式 118
7.1.2轮询模式 119
7.1.3混和中断轮询模式 120
7.2网卡I/O性能优化 121
7.2.1Burst收发包的优点 121
7.2.2批处理和时延隐藏 124
7.2.3利用Intel SIMD指令进一步并行化包收发 127
7.3平台优化及其配置调优 128
7.3.1硬件平台对包处理性能的影响 129
7.3.2软件平台对包处理性能的影响 133
7.4队列长度及各种阈值的设置 136
7.4.1收包队列长度 136
7.4.2发包队列长度 137
7.4.3收包队列可释放描述符数量阈值（rx_free_thresh） 137
7.4.4发包队列发送结果报告阈值（tx_rs_thresh） 137
7.4.5发包描述符释放阈值（tx_free_thresh） 138
7.5小结 138
第8章流分类与多队列 139
8.1多队列 139
8.1.1网卡多队列的由来 139
8.1.2Linux内核对多队列的支持 140
8.1.3DPDK与多队列 142
8.1.4队列分配 144
8.2流分类 144
8.2.1包的类型 144
8.2.2RSS 145
8.2.3Flow Director 146
8.2.4服务质量 148
8.2.5虚拟化流分类方式 150
8.2.6流过滤 150
8.3流分类技术的使用 151
8.3.1DPDK结合网卡Flow Director功能 152
8.3.2DPDK结合网卡虚拟化及Cloud Filter功能 155
8.4可重构匹配表 156
8.5小结 157
第9章硬件加速与功能卸载 158
9.1硬件卸载简介 158
9.2网卡硬件卸载功能 159
9.3DPDK软件接口 160
9.4硬件与软件功能实现 161
9.5计算及更新功能卸载 162
9.5.1VLAN硬件卸载 162
9.5.2IEEE1588硬件卸载功能 165
9.5.3IP TCP/UDP/SCTP checksum硬件卸载功能 167
9.5.4Tunnel硬件卸载功能 168
9.6分片功能卸载 169
9.7组包功能卸载 170
9.8小结 172
第二部分DPDK虚拟化技术篇
第10章X86平台上的I/O虚拟化 175
10.1X86平台虚拟化概述 176
10.1.1CPU虚拟化 176
10.1.2内存虚拟化 177
10.1.3I/O虚拟化 178
10.2I/O透传虚拟化 180
10.2.1Intel? VT-d简介 180
10.2.2PCIe SR-IOV概述 181
10.3PCIe网卡透传下的收发包流程 183
10.4I/O透传虚拟化配置的常见问题 184
10.5小结 184
第11章半虚拟化Virtio 185
11.1Virtio使用场景 185
11.2Virtio规范和原理 186
11.2.1设备的配置 187
11.2.2虚拟队列的配置 190
11.2.3设备的使用 192
11.3Virtio网络设备驱动设计 193
11.3.1Virtio网络设备Linux内核驱动设计 193
11.3.2基于DPDK用户空间的Virtio网络设备驱动设计以及性能优化 196
11.4小结 198
第12章加速包处理的vhost优化方案 199
12.1vhost的演进和原理 199
12.1.1Qemu与virtio-net 199
12.1.2Linux内核态vhost-net 200
12.1.3用户态vhost 201
12.2基于DPDK的用户态vhost设计 201
12.2.1消息机制 202
12.2.2地址转换和映射虚拟机内存 203
12.2.3vhost特性协商 204
......

引言
动机
2015年4月，第一届DPDK中国峰会在北京成功召开。来自中国移动、中国电信、阿里巴巴、IBM、Intel、华为以及中兴的专家朋友登台演讲，一起分享了以DPDK为中心的技术主题。表1列出了2015DPDK中国峰会的主题及演讲者。
表12015DPDK中国峰会主题及演讲者主题演讲者公司利用DPDK加速NFV邓辉中国移动利用DPDK优化云基础设施孙成浩阿里巴巴构建core以及高能效应用的最佳实践梁存铭Intel基于英特尔ONP构建虚拟化的IP接入方案欧亮中国电信DPDK加速无线数据核心网络陈东华中兴电信业务场景下的数据面挑战刘郡华为运行于Power架构下的DPDK和数据转发祝超IBM这次会议吸引了来自各行业、科研单位与高校的200多名开发人员、专家和企业代表参会。会上问答交流非常热烈，会后我们就想，也许是时间写一本介绍DPDK、探讨NFV数据面的技术书籍。现在，很多公司在招聘网络和系统软件人才时，甚至会将DPDK作为一项技能罗列在招聘要求中。DPDK从一个最初的小众技术，经过10年的孕育，慢慢走来，直至今日已经逐渐被越来越多的通信、云基础架构厂商接受。同时，互联网上也出现不少介绍DPDK基础理论的文章和博客，从不同的角度对DPDK技术进行剖析和应用，其中很多观点非常新颖。作为DPDK的中国开发团队人员，我们意识到如果能够提供一本DPDK的书籍，进行一些系统性的梳理，将核心的原理进行深入分析，可以更好地加速DPDK技术的普及，触发更多的软件创新，促进行业的新技术发展。于是，就萌发了写这本书的初衷。当然，我们心里既有创作的激动骄傲，也有些犹豫忐忑，写书不是一件简单的事情，但经过讨论和考量，我们逐渐变得坚定，这是一本集结团队智慧的尝试。我们希望能够把DPDK的技术深入浅出地解释清楚，让更多的从业人员和高校师生了解并使用DPDK，促进DPDK发展日新月异，兴起百家争鸣的局面，这是我们最大的愿景。
多核2005年的夏天，刚加入Intel的我们畅想着CPU多核时代的到来给软件业带来的挑战与机会。如果要充分利用多核处理器，需要软件针对并行化做大量改进，传统软件的并行化程度不高，在多核以前，软件依靠CPU频率提升自动获得更高性能。并行化改进不是一件简单的工作，许多软件需要重新设计，基本很难在短期实现，整个计算机行业都对此纠结了很久。2005年以前，整个CPU的发展历史，是不断提升芯片运算频率核心的做法，软件性能会随着处理器的频率升高，即使软件不做改动，性能也会跟着上一个台阶。但这样的逻辑进入多核时代已无法实现。首先我们来看看表2所示的Intel?多核处理器演进。
表2Intel?多核处理器演进的历史图表Xeon处理器代码制造工艺最大核心数量发布时间超线程双路服务器可使用核心数量WoodCrest65nm??22006年6月否??4Nehalem-EP45nm??42009年7月是16Westmere-EP32nm??62010年2月是24SandyBridge-EP32nm??82012年3月是32IvyBridge-EP22nm122013年9月是48Haswell-EP22nm182014年9月是72在过去10年里，服务器平台的处理器核心数目扩展了很多。表2参考了英特尔至强系列的处理器的核心技术演进历史，这个系列的处理器主要面向双通道（双路）服务器和相应的硬件平台。与此同时，基于MIPS、Power、ARM架构的处理器也经历着类似或者更加激进的并行化计算的路线图。在处理器飞速发展的同时，服务器平台在硬件技术上提供了支撑。基于PCIExpress的高速IO设备、内存访问与带宽的上升相辅相成。此外，价格和经济性优势越发突出，今天一台双路服务器的价格可能和10年前一台高端笔记本电脑的价格类似，但计算能力达到甚至超越了当年的超级计算机。强大的硬件平台为软件优化技术创新蕴蓄了温床。
以太网接口技术也经历了飞速发展。从早期主流的10Mbit/s与100Mbit/s，发展到千兆网（1Gbit/s）。到如今，万兆（10Gbit/s）网卡技术成为数据中心服务器的主流接口技术，近年来，Intel等公司还推出了40Gbit/s、100Gbit/s的超高速网络接口技术。而CPU的运行频率基本停留在10年前的水平，为了迎接超高速网络技术的挑战，软件也需要大幅度创新。
结合硬件技术的发展，DPDK（DataPlaneDevelopmentKit），一个以软件优化为主的数据面技术应时而生，它为今天NFV技术的发展提供了绝佳的平台可行性。
IXP提到硬件平台和数据面技术，网络处理器是无法绕过的话题。电信行业通常使用网络处理器或类似芯片技术作为数据面开发平台首选。Intel此前也曾专注此领域，2002年收购了DEC下属的研究部门，在美国马萨诸塞州哈德逊开发了这一系列芯片，诞生了行业闻名的IntelExchangeArchitectureNetworkProcessor（IXP4xx、IXP12xx、IXP24xx、IXP28xx）产品线，曾取得行业市场占有率第一的成绩。即使今日，相信很多通信业的朋友，还对这些处理器芯片有些熟悉或者非常了解。IXP内部拥有大量的微引擎（MicroEngine），同时结合了XSCALE作为控制面处理器，众所周知，XSCALE是以ARM芯片为核心技术的一种扩展。
2006年，AMD向Intel发起了一场大战，时至今日结局已然明了，Intel依赖麾下的以色列团队，打出了新一代Core架构，迅速在能效比上完成超车。公司高层同时确立了Tick-Tock的研发节奏，每隔两年推出新一代体系结构，每隔两年推出基于新一代制造工艺的芯片。这一战略基本保证了每年都会推出新产品。当时AMD的处理器技术一度具有领先地位，并触发了Intel在内部研发架构城门失火的状况下不得不进行重组，就在那时Intel的网络处理器业务被进行重估，由于IXP芯片系列的市场容量不够大，Intel的架构师也开始预测，通用处理器多核路线有取代IXP专用处理芯片的潜力。自此，IXP的研发体系开始调整，逐步转向使用IntelCPU多核的硬件平台，客观上讲，这一转型为DPDK的产生创造了机会。时至今日，Intel还保留并发展了基于硬件加速的QuickAssist技术，这和当日的IXP息息相关。由此看来，DPDK算是生于乱世。
DPDK的历史网络处理器能够迅速将数据报文接收入系统，比如将64字节的报文以10Gbit/s的线速也就是14.88Mp/s（百万报文每秒）收入系统，并且交由CPU处理，这在早期Linux和服务器平台上无法实现。以VenkyVenkastraen、WalterGilmore、MikeLynch为核心的Intel团队开始了可行性研究，并希望借助软件技术来实现，很快他们取得了一定的技术突破，设计了运行在Linux用户态的网卡程序架构。传统上，网卡驱动程序运行在Linux的内核态，以中断方式来唤醒系统处理，这和历史形成有关。早期CPU运行速度远高于外设访问，所以中断处理方式十分有效，但随着芯片技术与高速网络接口技术的一日千里式发展，报文吞吐需要高达10Gbit/s的端口处理能力，市面上已经出现大量的25Gbit/s、40Gbit/s甚至100Gbit/s高速端口，主流处理器的主频仍停留在3GHz以下。高端游戏玩家可以将CPU超频到5GHz，但网络和通信节点的设计基于能效比经济性的考量，网络设备需要日以继夜地运行，运行成本（包含耗电量）在总成本中需要重点考量，系统选型时大多选取2.5GHz以下的芯片，保证合适的性价比。I/O超越CPU的运行速率，是横在行业面前的技术挑战。用轮询来处理高速端口开始成为必然，这构成了DPDK运行的基础。
在理论框架和核心技术取得一定突破后，Intel与6wind进行了合作，交由在法国的软件公司进行部分软件开发和测试，6wind向Intel交付了早期的DPDK软件开发包。2011年开始，6wind、Windriver、Tieto、Radisys先后宣布了对IntelDPDK的商业服务支持。Intel起初只是将DPDK以源代码方式分享给少量客户，作为评估IA平台和硬件性能的软件服务模块，随着时间推移与行业的大幅度接受，2013年Intel将DPDK这一软件以BSD开源方式分享在Intel的网站上，供开发者免费下载。2013年4月，6wind联合其他开发者成立www.dpdk.org的开源社区，DPDK开始走上开源的大道。
开源DPDK在代码开源后，任何开发者都被允许通过www.dpdk.org提交代码。随着开发者社区进一步扩大，Intel持续加大了在开源社区的投入，同时在NFV浪潮下，越来越多的公司和个人开发者加入这一社区，比如Brocade、Cisco、RedHat、VMware、IBM，他们不再只是DPDK的消费者，角色向生产者转变，开始提供代码，对DPDK的代码进行优化和整理。起初DPDK完全专注于Intel的服务器平台技术，专注于利用处理器与芯片组高级特性，支持Intel的网卡产品线系列。
DPDK2.1版本在2015年8月发布，几乎所有行业主流的网卡设备商都已经加入DPDK社区，提供源代码级别支持。另外，除了支持通用网卡之外，能否将DPDK应用在特别的加速芯片上是一个有趣的话题，有很多工作在进行中，Intel最新提交了用于Crypto设备的接口设计，可以利用类似Intel的QuickAssit的硬件加速单元，实现一个针对数据包加解密与压缩处理的软件接口。
在多架构支持方面，DPDK社区也取得了很大的进展，IBM中国研究院的祝超博士启动了将DPDK移植到Power体系架构的工作，Freescale的中国开发者也参与修改，Tilera与Ezchip的工程师也花了不少精力将DPDK运行在Tile架构下。很快，DPDK从单一的基于Intel平台的软件，逐步演变成一个相对完整的生态系统，覆盖了多个处理器、以太网和硬件加速技术。
在Linux社区融合方面，DPDK也开始和一些主流的Linux社区合作，并得到了越来越多的响应。作为Linux社区最主要的贡献者之一的RedHat尝试在FedoraLinux集成DPDK；接着RedHatEnterpriseLinux在安装库里也加入DPDK支持，用户可以自动下载安装DPDK扩展库。RedHat工程师还尝试将DPDK与Container集成测试，并公开发布了运行结果。传统虚拟化的领导者VMware的工程师也加入DPDK社区，负责VMXNET3-PMD模块的维护。Canonical在Ubuntu15中加入了DPDK的支持。
延伸由于DPDK主体运行在用户态，这种设计理念给Linux或者FreeBSD这类操作系统带来很多创新思路，也在Linux社区引发一些讨论。
DPDK的出现使人们开始思考，Linux的用户态和内核态，谁更适合进行高速网络数据报文处理。从简单数据对比来看，在Intel的通用服务器上，使用单核处理小包收发，纯粹的报文收发，理想模型下能达到大约57Mp/s（每秒百万包）。尽管在真实应用中，不会只收发报文不处理，但这样的性能相对Linux的普通网卡驱动来说已经是遥不可及的高性能。OpenVSwitch是一个很好的例子，作为主流的虚拟交换开源软件，也尝试用DPDK来构建和加速虚拟交换技术，DPDK的支持在OVS2.4中被发布，开辟了在内核态数据通道之外一条新的用户态数据通道。目前，经过20多年的发展，Linux已经累积大量的开源软件，具备丰富的协议和应用支持，无所不能，而数据报文进出Linux系统，基本都是在Linux内核态来完成处理。因为Linux系统丰富强大的功能，相当多的生产系统（现有软件）运行在Linux内核态，这样的好处是大量软件可以重用，研发成本低。但也正因为内核功能强大丰富，其处理效率和性能就必然要做出一些牺牲。
使用在专业的通信网络系统中，高速数据进出速率是衡量系统性能的关键指标之一。大多通信系统是基于Linux的定制系统，在保证实时性的嵌入式开发环境中开发出用户态下的程序完成系统功能。利用DPDK的高速报文吞吐优势，对接运行在Linux用户态的程序，对成本降低和硬件通用化有很大的好处，使得以软件为主体的网络设备成为可能。对Intel?x86通用处理器而言，这是一个巨大的市场机会。
对于通信设备厂商，通用平台和软件驱动的开发方式具有易采购、易升级、稳定性、节约成本的优点。
易采购：通用服务器作为主流的基础硬件，拥有丰富的采购渠道和供应商，供货量巨大。
易升级：软件开发模式简单，工具丰富，最大程度上避免系统升级中对硬件的依赖和更新，实现低成本的及时升级。
稳定性：通用服务器平台已经通过大量功能的验证，产品稳定性毋庸置疑。而且，对于专用的设计平台，系统稳定需要时间累积和大量测试，尤其是当采用新一代平台设计时可能需要硬件更新，这就会带来稳定性的风险。
节约研发成本和降低复杂性：传统的网络设备因为功能复杂和高可靠性需求，系统切分为多个子系统，每个子系统需要单独设计和选型，独立开发，甚至选用单独的芯片。这样的系统需要构建复杂的开发团队、完善的系统规划、有效的项目管理和组织协调，来确保系统开发进度。而且，由于开发的范围大，各项目之间会产生路径依赖。而基于通用服务器搭建的网络设备可以很好地避免这些问题。
版权DPDK全称是DataPlaneDevelopmentKit，从字面解释上看，这是专注于数据面软件开发的套件。本质上，它由一些底层的软件库组成。目前，DPDK使用BSDlicense，绝大多数软件代码都运行在用户态。少量代码运行在内核态，涉及UIO、VFIO以及XenDom0，KNI这类内核模块只能以GPL发布。BSD给了DPDK的开发者和消费者很大的自由，大家可以自由地修改源代码，并且广泛应用于商业场景。这和GPL对商业应用的限制有很大区别。作为开发者，向DPDK社区提交贡献代码时，需要特别注意license的定义，开发者需要明确license并且申明来源的合法性。
......