Python自动化运维：技术与最佳实践

中国运维领域偶像级专家、腾讯高级系统工程师在天涯社区和腾讯近10年运维实践的经验和智慧结晶不仅详尽介绍了服务监控、数据报表、系统安全等基础模块，而且深入讲解了自动化操作、系统管理、配置管理、集群管理及大数据应用等高级功能，包含4个完整的综合案例。

本书在中国运维领域将有“划时代”的重要意义：一方面，这是国内一本从纵、深和实践角度探讨Python在运维领域应用的著作；一方面本书的作者是中国运维领域的“偶像级”人物，本书是他在天涯社区和腾讯近10年工作经验的结晶。因为作者实战经验丰富，所以能高屋建瓴、直指痛处，围绕Python自动化运维这个主题，不仅详细介绍了系统基础信息、服务监控、数据报表、系统安全等基础模块，而且深入讲解了自动化操作、系统管理、配置管理、集群管理及大数据应用等高级功能。最重要的是，完整重现了4个来自实际生产环境的不同功能运维平台的综合案例，展示了完整的平台架构及开发流程。
全书一共16章：基础篇（1-4章）详细介绍了系统基础信息、业务服务监控、定制业务质量报表、系统安全等基础和常用模块；高级篇（5-12章）深入讲解了批量运维管理器pexpect、paramiko、Fabric，集中化管理平台Ansible、Saltstack，统一网络控制器Func等高级功能，涵盖自动化操作、系统管理、配置管理、集群管理及大数据应用等主题；案例篇（13-16章）详细介绍了4个来自不同平台的运维案例，如何从零开始打造一个B/S自动化运维平台、如何打造Linux系统安全审计功能、如何构建分布式质量监控平台、如何构建桌面版C/S自动化运维平台，这4个案例均来自实际生产环境。

刘天斯，中国运维领域的偶像级人物，从事系统运维工作近10年。现就职于腾讯，担任高级系统工程师，负责腾讯CDN的运维工作；曾就职于天涯社区，担任架构师兼高级系统工程师。热衷开源技术的研究，包括系统架构、运维开发、负载均衡、缓存技术、数据库、分布式存储及云计算等领域，擅长大规模集群的运维工作。崇尚“技术让工作变得更简单”的理念，开发并维护着“天涯LVS管理系统”、“天涯服务器管理系统”、“在线图片处理平台”、“Varnish缓存推送平台”等7个开源项目。对Python如何在运维中发挥作用进行了深入研究，而且在腾讯内部开展了大量实践，基于Python开发了集群自动化操作工具yorauto，在腾讯各大事业群广泛使用，同时入选公司精品推荐组件。
曾多次荣获新浪技术、51CTO和ITPUB等社区评选的“博客专家”称号。个人运维着博客“运维进行时”，从2007年至今，笔耕不缀，坚持分享自己在运维领域的经验和智慧。拥有发明专利4项。

本书赞誉
前言

第一部分基础篇
第1章系统基础信息模块详解
1.1系统性能信息模块psutil
1.1.1获取系统性能信息
1.1.2系统进程管理方法
1.2实用的IP地址处理模块IPy
1.2.1IP地址、网段的基本处理
1.2.2多网络计算方法详解
1.3DNS处理模块dnspython
1.3.1模块域名解析方法详解
1.3.2常见解析类型示例说明
1.3.3实践：DNS域名轮循业务监控

第2章业务服务监控详解
2.1文件内容差异对比方法
2.1.1示例1：两个字符串的差异对比
2.1.2生成美观的对比HTML格式文档
2.1.3示例2：对比Nginx配置文件差异
2.2文件与目录差异对比方法
2.2.1模块常用方法说明
2.2.2实践：校验源与备份目录差异
2.3发送电子邮件模块smtplib
2.3.1smtplib模块的常用类与方法
2.3.2定制个性化的邮件格式方法
2.3.3定制常用邮件格式示例详解
2.4探测Web服务质量方法
2.4.1模块常用方法说明
2.4.2实践：实现探测Web服务质量

第3章定制业务质量报表详解
3.1数据报表之Excel操作模块
3.1.1模块常用方法说明
3.1.2实践：定制自动化业务流量报表周报
3.2Python与rrdtool的结合模块
3.2.1rrdtool模块常用方法说明
3.2.2实践：实现网卡流量图表绘制
3.3生成动态路由轨迹图
3.3.1模块常用方法说明
3.3.2实践：实现TCP探测目标服务路由轨迹

第4章Python与系统安全
4.1构建集中式的病毒扫描机制
4.1.1模块常用方法说明
4.1.2实践：实现集中式的病毒扫描
4.2实现高效的端口扫描器
4.2.1模块常用方法说明
4.2.2实践：实现高效的端口扫描

第二部分高级篇
第5章系统批量运维管理器pexpect详解
5.1pexpect的安装
5.2pexpect的核心组件
5.2.1spawn类
5.2.2run函数
5.2.3pxssh类
5.3pexpect应用示例
5.3.1实现一个自动化FTP操作
5.3.2远程文件自动打包并下载

第6章系统批量运维管理器paramiko详解
6.1paramiko的安装
6.2paramiko的核心组件
6.2.1SSHClient类
6.2.2SFTPClient类
6.3paramiko应用示例
6.3.1实现密钥方式登录远程主机
6.3.2实现堡垒机模式下的远程命令执行
6.3.3实现堡垒机模式下的远程文件上传

第7章系统批量运维管理器Fabric详解
7.1Fabric的安装
7.2fab的常用参数
7.3fabfile的编写
7.3.1全局属性设定
7.3.2常用API
7.3.3示例1：查看本地与远程主机信息
7.3.4示例2：动态获取远程目录列表
7.3.5示例3：网关模式文件上传与执行
7.4Fabric应用示例
7.4.1示例1：文件打包、上传与校验
7.4.2示例2：部署LNMP业务服务环境
7.4.3示例3：生产环境代码包发布管理

第8章从"零"开发一个轻量级WebServer
8.1Yorserver介绍
8.1.1功能特点
8.1.2配置文件
8.2功能实现方法
8.2.1HTTP缓存功能
8.2.2HTTP压缩功能
8.2.3HTTP SSL功能
8.2.4目录列表功能
8.2.5动态CGI功能

第9章集中化管理平台Ansible详解
9.1YAML语言
9.1.1块序列描述
9.1.2块映射描述
9.2Ansible的安装
9.2.1业务环境说明
9.2.2安装EPEL
9.2.3安装Ansible
9.2.4Ansible配置及测试
9.2.5配置Linux主机SSH无密码访问
9.3定义主机与组规则
9.3.1定义主机与组
9.3.2定义主机变量
9.3.3定义组变量
9.3.4分离主机与组特定数据
9.4匹配目标
9.5Ansible常用模块及API
9.6playbook介绍
9.6.1定义主机与用户
9.6.2任务列表
9.6.3执行playbook
9.7playbook角色与包含声明
9.7.1包含文件，鼓励复用
9.7.2角色
9.8获取远程主机系统信息：Facts
9.9变量
9.9.1Jinja2过滤器
9.9.2本地Facts
9.9.3注册变量
9.10条件语句
9.11循环
9.12示例讲解

第10章集中化管理平台Saltstack详解
10.1Saltstack的安装
10.1.1业务环境说明
10.1.2安装EPEL
10.1.3安装Saltstack
10.1.4Saltstack防火墙配置
10.1.5更新Saltstack配置及安装校验
10.2利用Saltstack远程执行命令
10.3Saltstack常用模块及API
10.4grains组件
10.4.1grains常用操作命令
10.4.2定义grains数据
10.5pillar组件
10.5.1pillar的定义
10.5.2pillar的使用
10.6state介绍
10.6.1state的定义
10.6.2state的使用
10.7示例：基于Saltstack实现的配置集中化管理
10.7.1环境说明
10.7.2主控端配置说明
10.7.3配置pillar
10.7.4配置state
10.7.5校验结果

第11章统一网络控制器Func详解
11.1Func的安装
11.1.1业务环境说明
11.1.2安装Func
11.2Func常用模块及API
11.2.1选择目标主机
11.2.2常用模块详解
11.3自定义Func模块
11.4非Python API接口支持
11.5Func的Facts支持

第12章Python大数据应用详解
12.1环境说明
12.2Hadoop部署
12.3使用Python编写MapReduce
12.3.1用原生Python编写MapReduce详解
12.3.2用Mrjob框架编写MapReduce详解
12.4实战分析
12.4.1示例场景
12.4.2网站访问流量统计
12.4.3网站HTTP状态码统计
12.4.4网站分钟级请求数统计
12.4.5网站访问来源IP统计
12.4.6网站文件访问统计

第三部分案例篇
第13章从零开始打造B/S自动化运维平台
13.1平台功能介绍
13.2系统构架设计
13.3数据库结构设计
13.3.1数据库分析
13.3.2数据字典
13.3.3数据库模型
13.4系统环境部署
13.4.1系统环境说明
13.4.2系统平台搭建
……

第1章
系统基础信息模块详解

系统基础信息采集模块作为监控模块的重要组成部分，能够帮助运维人员了解当前系统的健康程度，同时也是衡量业务的服务质量的依据，比如系统资源吃紧，会直接影响业务的服务质量及用户体验，另外获取设备的流量信息，也可以让运维人员更好地评估带宽、设备资源是否应该扩容。本章通过运用Python第三方系统基础模块，可以轻松获取服务关键运营指标数据，包括Linux基本性能、块设备、网卡接口、系统信息、网络地址库等信息。在采集到这些数据后，我们就可以全方位了解系统服务的状态，再结合告警机制，可以在第一时间响应，将异常出现在苗头时就得以处理。
本章通过具体的示例来帮助读者学习、理解并掌握。在本章接下来的内容当中，我们的示例将在一个连续的Python交互环境中进行。
进入Python终端，执行python命令进入交互式的Python环境，像这样：
# python
Python 2.6.6 (r266:84292, Nov 22 2013, 12:16:22)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>>
1.1系统性能信息模块psutil
psutil是一个跨平台库，能够轻松实现获取系统运行的进程和系统利用率（包括CPU、内存、磁盘、网络等）信息。它主要应用于系统监控，分析和限制系统资源及进程的管理。它实现了同等命令行工具提供的功能，如ps、top、lsof、netstat、ifconfig、who、df、kill、free、nice、ionice、iostat、iotop、uptime、pidof、tty、taskset、pmap等。目前支持32位和64位的Linux、Windows、OS X、FreeBSD和Sun Solaris等操作系统，支持从2.4到3.4的Python版本，目前最新版本为2.0.0。通常我们获取操作系统信息往往采用编写shell来实现，如获取当前物理内存总大小及已使用大小，shell命令如下：
物理内存total值: free -m | grepMem | awk '{print $2}'
物理内存used值: free -m | grepMem | awk '{print $3}'
相比较而言，使用psutil库实现则更加简单明了。psutil大小单位一般都采用字节，如下：
>>> import psutil
>>>mem = psutil.virtual_memory()
>>>mem.total,mem.used
(506277888L, 500367360L)
psutil的源码安装步骤如下：
#wget --no-check-certificate
# tar -xzvf psutil-2.0.0.tar.gz
# cd psutil-2.0.0
# python setup.py install
……

前言 为什么要写这本书

随着信息时代的迅速发展，尤其是互联网日益融入大众生活，作为这一切背后的IT服务支撑，运维角色的作用越来越大，传统的人工运维方式已经无法满足业务的发展需求，需要从流程化、标准化、自动化去构建运维体系，其中流程化与标准化是自动化的前提条件，自动化的最终目的是提高工作效率、释放人力资源、节约运营成本、提升业务服务质量等。我们该如何达成这个目标呢？运维自动化工具的建设是最重要的途径，具体包括监控、部署变更、安全保障、故障处理、运营数据报表等。本书介绍如何使用Python语言来实现这些功能点，以及Python在我们的自动化运维之路上发挥作用，解决了哪些运维问题等。
为什么是Python？Python是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年年底发明，具有简单易学、开发效率高、运行速度快、跨平台等特点，尤其是具有大量第三方模块的支持，其中不乏优秀的运维相关组件，例如Saltstack、Ansible、Func、Fabric等。大部分运维人员为非专业开发人士，对他们而言，选择一门上手快、技术门槛低的开发语言非常重要。由于Python具有脚本语言的特点，学习资源多，社区非常活跃，且在Linux平台默认已安装等优势。Python已经是当今运维领域最流行程的开发语言之一。
2003年毕业后，我的第一份工作是当PHP程序员，人力紧张时还要兼顾美工的工作。时常回想，其实也只有在小公司才能修炼出“十八般武艺”。在“非典”肆虐的岁月，大部分公司都闭门不招聘，一个毕业生能有这样的机会锻炼也显得尤为珍贵。工作中一次偶然的机会看到导师诗成兄在黑漆漆的界面中输入不同指令，第一感觉非常震撼，很酷，联想到《黑客帝国》电影中的画面，与之前接触到的Windows系统完全不一样，后来才晓得是Redhat 9（红帽9）。此后很长的一段时间里，整个人完全沉醉在Linux的世界里，处于一种痴迷的状态，那时我还是一个程序员。
到了2005年10月，看到隔壁公司招聘一名Linux系统工程师，抱着试一试的心态去面试，结果出乎意料，我被录用了，这样我就找到了第二个东家—天涯社区。人生的第一个转折点在此酝酿，由于赶上了公司快速发展的阶段，接触到了很多开源技术，包括LVS、Squid、Haproxy、MongoDB、MySQL、Cfengine等，并且不断在生产环境中应用所学的技术，取得了非常不错的效果，重点业务的高可用持续保持在99.99%。期间新的问题也陆续出现，包括如何更好整合各类开源组件，发挥其最大效能，以及如何高效运营。不可否认，具有开发背景的运维人员有着先天优势，可以在不同角色之间进行思考，扩大视野。期间我参与了推动大量标准化、规范化的建设，以此为前提，开发了“SDR1.0-Linux主机集中管理”、“天涯LVS管理系统”、“天涯服务器管理系统（C/S与B/S版）”、“服务器机柜模拟图平台”、“Varnish缓存推送平台V1.0”等平台，这些平台在很大程度上改变了运维人员手工作坊式的工作模式。在释放人力的同时，我看到国内其他公司的同仁也在做同样的事情，突然间有一个想法，就是开源。此时已经是2009年，这个想法也得到系统部经理小军认可，同年12月陆续在code.google.com平台托管，让业界更深入了解天涯社区的技术架构。凭着这些作品及分享的技术文章，我的博客“运维进行时荣获了“2010年度十大杰出IT博客”的殊荣。我还先后参与了51CTO、IT168、CU等门户网站以架构、运维为主题的专访，在运维圈得到越来越多同仁的认同。
再谈谈如何与Python结缘。接触Python是从《简明Python教程》开始，由于我有Perl与PHP的基础，学习Python没有太大压力。事实上，Python的简洁、容易上手以及大量第三方模块等特点，深深吸引了我，让我第二次沉醉于知识的海洋。我很快深入学习了Func、Django框架、SQLAlchemy、BeautifulSoup、Pys60、wxPython、Pygame、wmi等经典模块，同时将所学知识应用到运维体系中，解决在工作中碰到的问题。例如，开发的“多节点应用延时监控平台”解决了多运营商网络环境下的业务服务质量监控问题；开发的“Varnish&Squid缓存推送平台”解决了快速刷新缓存对象的问题。再例如，删除敏感帖子的时效性要求非常高，需要在后台触发删除后立即生效，与缓存推送平台对接后很好地解决了这一问题；天涯服务器管理系统（C/S、B/S、移动版）实现自助、智能、多维度接入，提高了运维效率，减少了人工误操作，释放了人力资源，同时标准化与流程化得到技术保障与实施落地。
天涯社区是我个人职业生涯的培育期，让我重新审视自我，明确了未来的规划与定位。2011年9月是我职业生涯的成长期的开始，加盟了腾讯，负责静态图片、大游戏下载业务CDN的运维工作，接触到庞大的用户群、海量的资源（设备、带宽、存储）、世界级的平台、人性化的工作氛围以及大量优秀的同事。所有的这些都深深地吸引着我，也让我的视野与工作能力得到前所未有的提升。分工细化产生运维工作模式的差异，从“单兵作战”转向“集团军作战”。我继续保持着对新技术的狂热，思考如何使用Python在运维工作中发挥作用。工作期间研究了大量高级组件，包括Paramiko、Fabric、Saltstack、Ansible、Func等，这些组件有了更高级的封装，强大且灵活，贴近各类业务场景。我个人也基于Python开发了集群自动化操作工具—yorauto，在公司各大事业群广泛使用，同时入选公司精品推荐组件。我的部分个人发明专利使用Python作为技术实现。目前我也关注大数据发展趋势，研究Python在大数据领域所扮演的角色。
回到主题“为什么要写这本书”，这一点可以从51CTO对我的专访中找到答案。当时的场景是这样的：
51CTO：您对开源是如何理解的？天涯社区在过去两年间陆续开源了包含LVS管理系统、Varnish缓存推送平台、高性能数据引擎memlink等好几个项目，业内人士对此都十分关注，您认为这给整个产业带来了哪些好处？身为天涯社区的一位运维人员，您认为在这个过程中自己的价值在哪里？
刘天斯：开源就是分享，让更多人受益的同时自己也在提高。经常看到很多朋友都在做监控平台、运维工具。事实上功能惊人相似，大家都在做重复的工作，为什么不能由一个人开源出来，大家一起来使用、完善呢。这样对整个行业来讲，这块的投入成本都会降低，对个体来讲也是资源的整合。如果形成良性循环，行业的生态环境将会有很大程度的改善。本人热衷于开源技术，同样也愿意为开源贡献自己一分微薄之力，希望更多的人能支持开源、参考开源。
这就是我的初衷，也是答案。写书的意义在于将10年的工作沉淀、经验、思路方法做个梳理与总结，同时与大家分享。最终目的是为每个渴望学习、进步、提升的运营人员提供指导。
读者对象
系统架构师、运维人员
运营开发人员
Python程序员
系统管理员或企业网管
大专院校的计算机专业学生
如何阅读本书
本书分为三大部分。
第一部分为基础篇（第1～4章），介绍Python在运维领域中的常用基础模块，覆盖了系统基础信息、服务监控、数据报表、系统安全等内容。
第二部分为高级篇（第5～12章），着重讲解Python在系统运维生命周期中的高级应用功能，包括相关自动化操作、系统管理、配置管理、集群管理及大数据应用等内容。
第三部分为案例篇（第13～16章），通过讲解4个不同功能运维平台案例，让读者了解平台的完整架构及开发流程。
说明：
书中的代码以“【路径】”方式引用，测试路径为“/home/test/模块”、“/data/www/项目”。
书中涉及的所有示例及源码的Github地址，以章节名称作为目录层次结构，模块及项目代码分别存放在对应的章节目录中。
其中第三部分以接近实战的案例来讲解，相比于前两部分更独立。如果你是一名经验丰富Linux管理员且具有Python基础，可以直接切入高级篇。但如果你是一名初学者，请一定从基础篇开始学习。本书不涉及Python基础知识，推荐新手在线学习手册：《简明Python教程》 与《深入Python: Dive Into Python中文版》。
勘误和支持
由于笔者的水平有限，且编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。为此，特意创建一个在线支持与应急方案问答站点。你可以将书中的错误发布到“错误反馈”分类中，同时如果你遇到任何问题或有任何建议，也可以在问答站点中发表，我将尽量在线上提供最满意的解答。我也会将及时更新相应的功能更新。如果你有更多的宝贵意见，欢迎发送邮件至邮箱，期待能够得到你们的真挚反馈。
致谢
首先要感谢Guido大神，是他创立了Python语言，同时也要感谢提供Python优秀第三方模块的所有作者，开源的精神与力量在他们身上体现得淋漓尽致。
感谢钟总、王工、诗成兄，是他们给予我第一份工作，也为个人此后的成长提供了非常多的指导。感谢天涯社区的邢总（968）、王总（建科）、小军，是他们提供了这么优秀的平台，让我有机会可以尽情施展才能，体现个人价值。感谢腾讯的Willim（崔晓春）、Tomxiao（肖志立）、Thundersun（孙雷）、Stanleysun（孙龙君）、Trackynong（农益辉）、Chanceli（李飞宏）、Blue（许明）导师，以及接入运维组（TEG）、数据管理组（IEG）所有兄弟姐妹在工作中给予的帮助、指导与支持，让我可以在新的环境继续突破自我，实现自我价值。感谢洪春兄（抚琴煮酒）的引荐，在他的努力下才促成了这本书的合作与出版。
感谢机械工业出版社的编辑杨福川和姜影，在这一年多的时间中始终支持我的写作，他们的鼓励和帮助引导我能顺利完成全部书稿。
感谢已经过世的爷爷，是他深深影响着我的人生观与价值观，他的教导我会永远铭记在心。感谢我的爸爸、妈妈，感谢他们将我培养成人，在成长的过程中不断鼓励、激励我继续前进。感谢姐姐