数据化运营:系统方法与实践案例

（1）3位作者均是有多年数据分析和运营经验的专家，操盘过很多大项目，经验丰富。
（2）从方法、技术、业务、实践4个维度全面构建数据化运营的系统方法论。
（3）包含多个商业实践案例，对搭建数据监控指标体系、数据分析、数据挖掘、ABtest、埋点策略、用户画像建模等常见数据运营方式做了详细讲解。

本书以互联网企业中常见数据运营场景为切入点，以工作中实际面临解决的问题为案例，从方法、技术、业务、实践4个维度讲述数据运营的场景及应用方式。书中从实践出发，结合工作中数据运营经验，以应用案例为主线，通过业务分析+代码实践这种更“接地气”的方式讲述数据的应用。书中对于搭建数据监控指标体系、数据分析、数据挖掘、ABTest、埋点策略、用户画像建模等常见数据运营方式做了详细的介绍。

作者简介
赵宏田，
毕业于中国地质大学（武汉）和武汉大学，获工学和经济学双学士学位，现在某跨境电商从事大数据开发相关工作。拥有丰富的数据分析和数据化运营经验，负责过经营分析、SEO/SEM流量数据仓库建设、竞品爬虫、企业BI搭建，以及多家公司用户画像项目的从0到1搭建。业余时间喜欢对工作中关键点进行总结和积累，开源项目的贡献者，知乎专栏作者，撰写了大量专业文章，广受好评。
博客地址：https://zhuanlan.zhihu.com/pythoncrawl
开源贡献地址：https://github.com/HunterChao

江丽萍，
统计学硕士，某互联网医疗公司数据分析师。从事经营分析及数据运营多年，曾在不同行业以研究员、项目经理、咨询顾问、数据分析专家的身份参与大量的数据运营项目，拥有丰富的互联网数据运营项目经验。曾在某公司成功带领小组打通公司层面数据，对关键业务条线从业务流、数据流进行流程化梳理；推动公司数据产品实现由0到1的突破。希望能将数据分析与业务运营结合的更加紧密，以数据驱动运营，以数据推动业务。

李宁，
中国商业联合会数据分析专业委员会特聘专家，现就职于某外卖订餐平台，担任数据专家。先后在艾瑞、携程从事数据相关工作。乐于分享，维护着微信公众号“数据自由之路”（dataFreeLife），分享自己在数据和运营方面的经验和心得，同时是知乎、36大数据和51CTO等媒体的专栏作家。曾多次被行业内的各种数据峰会邀请担任分享嘉宾，并以评审专家身份参与由中数委牵头的《中国大数据人才培养标准（第1版）》的编审工作。

目录
前言
基础篇
第1章概述：数据运营基础 002
1.1大数据时代 002
1.2企业数据应用方式 004
1.3数据运营的岗位职责 007
1.4数据运营应掌握的技能 009
1.5本章小结 013
第2章业务：数据驱动运营 014
2.1如何用数据驱动运营 014
2.1.1定义数据分析目标 014
2.1.2目标分解与聚焦 016
2.1.3数据运营重点 019
2.2流量运营分析 021
2.2.1流量运营规划 021
2.2.2流量分析 023
2.2.3解读PV、UV 027
2.2.4跳出率分析 029
2.2.5漏斗图分析 030
2.2.6A/B测试 032
2.3用户运营分析 033
2.3.1用户分群 034
2.3.2用户行为分析 040
2.3.3用户生命周期价值 047
2.4本章小结 051
?第3章报表：数据管理模板 052
3.1个性化数据管理报告—Excel 054
3.1.1创建报告的准备工作 054
3.1.2报告自动化步骤 055
3.1.3从数据源表到数据转化表 056
3.1.4报告正文展示 062
3.1.5自动化报表脚本 064
3.2搭建数据分析报告模板—PPT 066
3.2.1业务指标梳理（搭建运营监控指标体系） 067
3.2.2分析思路与框架 078
3.2.3图表展现 079
3.2.4数据与结论 080
3.2.5报告布局与排版 081
3.2.6PPT随Excel模板自动更新 084
3.3本章小结 085
应用篇
?第4章理论：数据分析方法 088
4.1数据分析理论模型 088
4.1.14P营销理论 089
4.1.25W2H分析法 090
4.1.3PEST分析方法 092
4.1.4SWOT 093
4.1.5逻辑树 095
4.2数据分析方法与运用场景 095
4.2.1多维分析 095
4.2.2趋势分析 097
4.2.3综合评价法 101
4.2.4转化分析 103
4.2.5数据挖掘方法 106
4.3可视化：常用图表的特点及适用场合 106
4.3.1环形图 107
4.3.2矩阵图 108
4.3.3组合图 112
4.3.4文字云 118
4.4AB Test的原理与实现 125
4.4.1AB Test的原理 126
4.4.2AB Test的埋点与报表部署 128
4.4.3AB Test的分析方法 129
4.4.4AB Test的常见误区 132
4.5埋点策略与实现 134
4.5.1utm来源埋点 135
4.5.2页面PV埋点 137
4.5.3单击埋点native 139
4.5.4单击埋点hybrid 141
4.5.5业务埋点 142
4.5.6曝光埋点 144
4.5.7埋点常见问题 145
4.6本章小结 146
?第5章案例：竞品数据对标分析 148
5.1网络爬虫基础知识 148
5.1.1开发环境准备 149
5.1.2Web前端基础 149
5.1.3解析网页 152
5.1.4数据存储 159
5.2网站结构分析 166
5.3Scrapy爬虫架构 168
5.3.1items模块 170
5.3.2pipelines模块 171
5.3.3settings模块 172
5.3.4爬虫模块 173
5.4数据爬取与解析 174
5.5项目优化与改进 177
5.5.1爬虫脚本部署在服务器端 178
5.5.2分布式爬虫的实现 178
5.6反爬手段及应对机制 179
5.6.1禁止IP请求 180
5.6.2禁止非浏览器访问 180
5.6.3ajax加载目标数据 181
5.6.4需要登录后才能访问 182
5.6.5手机App页面数据抓取 182
5.7本章小结 184
?第6章案例：某互联网医疗产品用户特征分析 185
6.1应用背景与分析维度 185
6.2基于用户细分的行为分析 186
6.3用户来源渠道分析 190
6.4基于前端展示的用户行为分析 191
6.5产品改进与运营建议 195
6.6本章小结 195
?第7章案例：RFM用户价值模型应用 196
7.1应用背景与目标 196
7.2基于规则的划分 198
7.3基于聚类方法的划分 203
7.4本章小结 209
?第8章案例：用户流失分析与预测 210
8.1应用背景与目标 210
8.2问题分析与模型构建 211
8.3数据处理与结果 212
8.3.1确定用户流失周期 212
8.3.2抽取训练数据建立决策树模型 214
8.3.3线上部署脚本定期监测流失用户 221
8.3.4流失用户分析 224
8.4问题定位与解决方案 226
8.5本章小结 229
?第9章案例：站内文章自动分类打标签 230
9.1应用背景与目标 230
9.2问题分析与模型构建 231
9.3案例中主要应用的技术 232
9.3.1数据预处理 232
9.3.2TF-IDF词空间向量转换 233
9.3.3文章关键词提取 234
9.3.4朴素贝叶斯分类 235
9.4数据处理与模型检验 235
9.4.1文本分词处理（数据分类与数据预处理） 236
9.4.2数据结构处理 238
9.4.3计算文本的TF-IDF权重矩阵 240
9.4.4用朴素贝叶斯方法分类文章 242
9.5本章小结 245
提高篇
?第10章应用：用户画像建模 248
10.1用户画像简介 248
10.1.1什么是用户画像 249
10.1.2用户画像模型及应用场景 250
10.1.3数仓架构及项目流程 254
10.2用户画像管理 257
10.2.1模块化开发 257
10.2.2存储方式 259
10.2.3更新机制 259
10.3业务背景 262
10.3.1案例背景介绍 262
10.3.2数据仓库相关表介绍 262
10.4用户画像建模 267
10.4.1业务需求梳理 267
10.4.2用户标签体系及开发内容 268
10.4.3用户画像开发流程 274
10.4.4时间衰减系数 279
10.4.5标签权重配置 280
10.5用户画像数据开发 282
10.5.1建立用户属性画像 283
10.5.2建立用户行为画像 289
10.5.3建立用户偏好画像 303
10.5.4建立群体用户画像 308
10.5.5画像效果验收 313
10.5.6画像数据质量管理 314
10.6用户画像应用方式 317
10.6.1业务精细化运营 317
10.6.2数据分析 319
10.6.3精准营销 319
10.6.4用户个性化推荐 322
10.7本章小结 323

前言
为什么要写这本书作为互联网大数据行业的从业者，笔者将自己在这个行业中所掌握的知识、在日常工作中遇到的问题以及积累的项目经验整理成书，在这里和大家分享。希望通过本书能给读者一些新的理解和应用的思路，如果书中的内容能让你有些许收获，能够解决你工作中的一两个问题，那将是笔者的荣幸。
本书特色本书从实践出发，结合工作中数据运营经验，以应用案例为主线，通过业务分析+代码实践这种更“接地气”的方式讲述数据的应用。书中对搭建数据监控指标体系、数据分析、数据挖掘、AB Test、埋点策略、用户画像建模等常见数据运营方式做了详细介绍。
根据读者的阅读习惯，本书由浅入深地分为基础篇、应用篇和提高篇三部分。
基础篇讲解数据运营常见场景、运营方式与数据运营人员的工作职责。
应用篇讲解数据分析方法与应用方式，并通过5个实际数据分析挖掘案例帮助读者深入理解数据运营方式。在内容编排上先提出案例应用背景和目标，再阐述分析方法和建模流程，最后完成数据的处理和业务上的应用。
提高篇讲解当下热门的“用户画像建模”，从建模流程、标签开发到画像应用，并辅以案例，讲解如何用HQL语言建立一个图书电商场景的用户标签体系，以帮助读者更深入地理解用户画像是如何建模打标签的。
本书没有过多复杂的理论公式，所讲案例操作步骤详细，可作为数据分析运营人员在解决实际问题中参考的“action book”。
本书适用对象对数据分析及数据挖掘感兴趣的大专院校师生及其他初学者对互联网行业数据分析、用户画像建模感兴趣的数据运营人员互联网行业的产品运营人员及产品经理各行各业的数据分析师如何阅读本书本书以互联网企业中常见的数据运营场景为切入点，以工作中实际面临的问题为案例，从方法、技术、业务、实践4个维度讲述数据运营的场景及应用方式。全书共分10章，各章的主要内容如下：
第1章介绍企业中数据的应用方式、企业数据职能架构与组成、数据运营人员的工作职责和应掌握的技能。
第2章介绍数据运营规划，常见的运营场景以及如何结合数据展开用户运营和流量运营工作。
第3章讲述如何结合业务搭建数据监控指标体系，从搭建模板到自动化数据报表，做好日报、周报、月报、专题分析报告等日常数据运营工作。
第4章是本书的重点章节，讲述了数据分析中常用的方法及其应用场景，包括常见营销理论、数据分析思路、AB Test分析以及埋点策略与分析。对数据分析感兴趣的人员可着重看此章节。
第5~9章是数据分析挖掘中的几个具体案例，从数据运营的实际应用场景出发，以案例的形式讲述了如何在某些常见的业务需求背景下，分析项目需求，厘清思路，展开数据分析并输出报告和结论。案例中的关键步骤都附上了详细的代码说明。
第10章是本书的重点章节，先介绍了什么是用户画像、应用场景、开发流程，然后以案例的形式讲解了用户画像建模过程中的需求分析、建立模型、打标签、计算标签权重、画像数据管理、用户画像应用等环节，并为案例附上了详细的代码说明。想要了解如何在用户画像建模过程中建模打标签的人员可着重看此章节。
勘误和支持由于笔者水平有限，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。为此，读者可通过邮箱（892798505@qq.com）或微信（administer-00001）反馈有关问题，笔者将尽全力为读者提供解答。书中的源代码可以从Github网站（https://github.com/HunterChao/book）下载。
致谢在本书的编写过程中，得到了许多朋友的帮助，感谢天善智能创始人梁勇的支持与帮助，感谢为本书撰写推荐的朋友们，感谢你们的支持及专业的建议。
感谢机械工业出版社华章公司的杨福川副总编，本书从2017年4月开始筹划，从确定基本框架到后期的写作，杨总编不断地给笔者以指导，感谢杨总编的帮助与支持，与他的合作总是十分愉快！感谢机械工业出版社编辑李艺老师，李艺老师用严谨的态度孜孜不倦地帮助我们修改稿件。
谨以此书献给众多互联网运营人员和数据分析师们！