大数据的互联网思维

《大数据的互联网思维》基于15年的大数据理论探索和实践经验，首次将互联网思维应用于大数据中，并取得了一定的成绩。互联网思维像当年的“文艺复兴”一样，燃起了一把希望之火，给了中国一次难得的弯道超车的历史机遇。
《大数据的互联网思维》对互联网思维中主要的几条原则，逐一进行分析，并将其应用到大数据发展中。给出了大数据产品设计的原则，并提出了改善客户体验的各种方法，在数据可视化方面积累了大量案例。通过降低大数据的使用门槛，能够让更多的人参与到应用中。

海报：

《大数据的互联网思维》是国内一本将互联网思维应用到大数据领域的专著，记录了笔者在大数据时代的一些感想、心得。
本书共分10章，其中第1章阐述了大数据发展的现状，以及大数据发展需要互联网思维的原因；第2章提出了借鉴互联网思维，大数据可以实现一次“凤凰涅？”般的新生，从传统IT项目“脱胎换骨”为咨询服务项目；第3章写到大数据将重塑资源格局，未来会成为国家资产，同时将促进理性社会的到来；第4章介绍了大数据的客户体验如何提升，需要明确客户是谁，客户想要什么，笔者指出融入娱乐思维的个性化管家式服务是一种可行之道；第5章介绍了大数据的产品思维，有哪些好的经验可以学习；第6章和第7章分别阐述了如何打造出的大数据产品，以及大数据如何进行快速迭代；第8章介绍了大数据的平台思维，同时提出传统的互联网平台升级为拥有智慧的大数据平台是大势所趋；第9章介绍了大数据的跨界会带来什么，提出“大数据×”的概念，指出“大数据×”是“互联网+”的有机组成部分；最后一章笔者对多年收集的大数据实践案例进行了介绍，帮助读者深入了解本书前面提到的理论部分。本书中穿插了许多诙谐的小故事和小案例，能够让读者在轻松、幽默的氛围中快速体会笔者的一些感悟。
与市面上现有的介绍大数据以及互联网思维的书籍不同，本书是笔者十多年大数据相关从业经验的积累，是在实践过程中不断总结出来的，书中许多具体案例都是真实存在并且被广泛使用的。有志于从事大数据事业或者数据分析领域相关工作的管理人员或IT人员都值得拥有。

段云峰，承担了国内很大电信运营商的数据仓库和大数据中心的设计和建设、运营工作（截止到2015年该系统达到18000TB存储容量，累计投资120亿元），积累了15年的大数据领域的实际工作经验。带领相关的团队，从系统创建到系统运营，开发了很多大数据领域的各种应用。积累了国内的大数据在大企业建设、运营方面的经验。其前后主持设计的文档，有150余册、1200多万字，涉及大数据系统的数据模型、数据接口、系统架构、质量管控、业务应用、系统安全等各个领域。

秦晓飞，具有理学学士、工学学士和管理学硕士学位。最近十几年先后从事BI系统的运维、开发、项目管理以及应用推广等工作，参与并见证了中国移动BI系统从TB级别数据仓库向PB级别大数据平台跨越的整个过程。先后获得高级工程师、信息系统项目管理师、高级电信业务师、国际信息系统审计师等专业资格认证，并且被评为2012年山西省青年岗位能手。在《移动通信》《中国新通信》《电子世界》《信息与电脑》等杂志发表多篇专业论文，并且申报了多项国家发明专利。

01 大数据现状／1
本章描述了大数据的基本概念和特点，指出移动互联网产生的数据，具备更高的商业价值。借助互联网的发展，引出了互联网思维的故事，分析了互联网思维的特点，分享了“天变了”的颠覆理念。最后结合实践经验，给出了大数据需要引入互联网思维进行发展的结论。
1．1 大数据的概念和特点／2
1．2 互联网思维的故事／4
1．3 “天变了”／5
1．4 大数据为什么需要互联网思维／12
1．5 小结／16
02 堪比“文艺复兴”的互联网思维／17
本章分析了大数据项目的特点，指出其不同于传统IT项目的差异，给出了在大数据项目发展过程中如何借鉴互联网思维的具体案例。指出了借助互联网思维，大数据能够逐步发展成为独立的产业，并在“互联网+”的发展过程中，提升各个产业的智慧水平。
2．1 文艺复兴的意义类比／18
2．2 互联网企业的发展／21
2．3 互联网思维的概念／24
2．4 互联网思维的特点／24
2．5 互联网思维改写了手机产业／26
2．6 互联网思维改变大数据／29
2．7 大数据的新生／44
2．8 小结／46
03 大数据的发展／47
本章首先描述了大数据产生和发展的历程，提出了大数据将重塑各个产业，数据将逐步替代石油等传统能源，成为新时代的国家战略资源。然后提到了大数据将解决信息不对称的问题，实现市场资源的最优配置，从而综合市场经济和计划经济的优点，促进“理性社会”的真正到来。还提到了传统的电信运营商如何借鉴互联网公司的大数据应用经验，实现从网络运营到大数据运营的转型。最后指出大数据发展过程中可能会面临的各种问题。
3．1 大数据产业的发展／48
3．2 从网络运营到大数据运营／52
3．3 如何运营大数据／60
3．4 大数据发展的瓶颈／69
3．5 小结／72
04 大数据的客户体验／74
本章提出要提升大客户的客户体验，首先要明确客户是谁，客户分为哪几大类，分别有什么特点，并且通过例子进行了详细阐述。然后笔者结合建设大数据系统的多年经验，将大数据应用概括为取数、取知识和取专业建议三个阶段。接下来详细解释了客户体验是什么，如何能够让客户在使用大数据产品时感受到“快”、“准”和“爽”，如何让数据变得可读，同时大胆提出能否让数据分析报告变成电影剧本，从而更加吸引客户。最后提出需要针对不同的角色提供不同的管家式服务，并且将娱乐思维引入到大数据产品的设计中，从而使客户体验得到提升。
4．1 客户是谁／75
4．2 客户的大数据需求是什么／80
4．3 客户体验是什么／85
4．4 客户体验如何提升／96
4．5 小结／99
05 大数据产品设计／100
本章首先描述了大数据产品化的引出背景，然后阐述了大数据产品的有关分类，并且提出了数据分析手机这样一种全新的大数据产品，同时提到了数联网以及脑联网。本章还解释了大数据的搜索门户、社交平台、电商平台以及云化平台，对未来大数据产品的全新载体进行了大胆的猜想。最后提到了大数据产品的特点、产品设计的关键点以及产品的定位问题，指出了大数据产品需要通过对比显示其价值，需要更多的群众参与；同时，我们需要简化界面，提高产品的可视化，通过准确的定位，提升大数据产品的运营效果。
5．1 大数据产品背景／101
5．2 大数据产品内容／105
5．3 产品的“客户流量”／110
5．4 大数据产品类比／113
5．5 大数据产品特点／115
5．6 产品的界面优化／117
5．7 产品的用户定位／117
5．8 小结／119
06 大数据的极致思维／120
本章主要论述了大数据产品要想获得成功，也需要做到极致。首先介绍了大数据产品如何做到极致。然后提到了大数据能够带来思维的极致。还阐述了大数据会带来精准营销和成本控制的极致。本章最后指出，一个极致的大数据产品，不光产品本身要过硬，还需要会“讲故事”，能够通过吸引人的标题、叙事方式以及论据的选择，将大数据产品中蕴涵的思想抽丝剥茧般地传递给最终客户。
6．1 产品的极致／121
6．2 思维的极致／134
6．3 营销的极致／136
6．4 “讲故事”的极致／137
07 大数据的快速迭代／142
本章重点阐述了大数据产品如何实现快速迭代，从而能够及时甚至实时地把握用户的需求。并且指出大数据产品往往是无形产品，其产品研发的边际成本更低，消费者反馈的成本也低，因此更需要做到快速迭代。
7．1 怎么“快”／143
7．2 数据的标准／144
7．3 平台的标准／146
7．4 环境的标准／148
7．5 迭代的知识积累／149
7．6 小结／150
08 大数据的平台思维／151
本章首先阐述了大数据的平台思维，是要在平等的基础上，构建一种主体共建、资源共享、数据开放、多方共赢的大数据商业生态系统。然后笔者对数联网进行了较为详细的阐述，对数联网的标准数据、标准接口、标准使用，以及访问工具和数据管控，谈了一些个人的理解。接下来重点描述了大数据平台的生态环境，还提到了平台SDK，借用厨房、食材、炊具和美食的关系，指出通过打造标准的数据，提升数据的可读性和加工的简化性，形成人人参与的大数据生态圈。本章最后对互联网企业的数据开放平台进行了介绍，指出从传递信息的互联网平台升级到传送智慧的大数据平台是大势所趋。
8．1 大数据的平台定义／152
8．2 大数据平台思维的特点／153
8．3 大数据的平台实体――“数联网”／154
8．4 大数据平台的生态环境／180
8．5 平台SDK的开放性／185
8．6 互联网企业的数据开放平台／192
8．7 人人的“数据”到数据的“人人”／204
8．8 互联网平台升级到大数据平台／205
8．9 小结／207
09 大数据的跨界思维／208
本章首先指出，在“互联网+”落地的过程中，如果各个行业间的大数据能够融合，就会产生更加巨大的价值。接着引用著名诗人萧伯纳的一句名言，引出了大数据跨界的特点。笔者还指出大数据的业务多维，即不同的人对相同的数据也会产生不同的理解，因此，对数据的解读至关重要。本章最后，笔者指出大数据的跨界在很大程度上依赖于大数据的行业交叉，能够产生什么样的火花，全看交叉的角度和力度，同时列举了两个不同行业数据融合可能会带来的新商机。
9．1 大数据跨界的背景／209
9．2 大数据跨界的定义／211
9．3 大数据的业务多维／216
9．4 大数据的行业交叉／216
9．5 小结／220
10 大数据实践案例探索／222
本章重点描述大数据的客户体验提升、大数据的产品化、大数据的知识库以及大数据的极致思维、跨界思维、平台思维和快速迭代的具体案例，便于读者理解书中所阐述的内容，使理论和实践更好地结合。
10．1 大数据提升客户体验／223
10．2 大数据实现产品化／238
10．3 大数据的极致思维／254
10．4 大数据的跨界思维／258
10．5 大数据的平台思维／261
10．6 大数据的快速迭代／267
10．7 小结／269

对内服务
大数据运营，在传统企业中，大部分是服务企业内部客户，通过服务于企业内部各个部门的数据分析需求，在实现企业精细化管理的同时，发挥出大数据的作用和价值。这种大数据对内服务的方式，将极大提升企业的内部管理水平，但也需要外部因素（外因）的激励。笔者的感触是，“企业市场的冬天才是大数据的春天”。只有在传统方法无法奏效，企业发展面临瓶颈，市场竞争日趋激烈之时，企业才会被迫转型去依赖大数据，进行精细化管理。而一些企业也许无法等到大数据见效，就悄无声息地消失了。
大数据对内服务的过程，需要渗透到企业内部管理的每个环节，提高企业精细管理和精准营销的水平。同时，随着大数据业务需求的增加，大数据自身的存储、计算资源也需要借助运筹学等方法，进行精细化管理。
1. 渗透到企业内部每个毛孔
大数据在服务企业内部管理之时，可以应用于企业管理的各个角度，渗透到每个毛孔中。举个简单的例子，如果武大郎成立了一家生产及销售烧饼的公司，如何用大数据服务这个企业呢？假设武大郎招聘了10个员工，分别负责面粉采购、和面、制饼、烧烤、售卖等各个环节。首先，武大郎可以通过大数据分析客户到底需要什么样式的烧饼，然后尝试出盐、花椒等辅料的最佳配比数据，生产出最受客户欢迎的烧饼。这是一个不断试错、不断收集数据的过程。根据这个配方，武大郎就可以制定每个生产环节的量化监督指标，例如，发面最好3小时后开始制作烧饼、烧饼烧烤时间固定在40分钟左右等。接下来，武大郎可以将这些数据用于控制产品质量，保证所有的烧饼产品质量一致，避免品质参差不齐。在生产过程中，武大郎也可以积累每个员工的工作数据，用于评估每个员工的工作效率，并对优秀员工进行激励。最后，通过分析生产加工过程中的各种数据，武大郎可以优化生产流程，提高生产效率，将原来一个烧饼的制作周期由10小时缩短到5小时。
2. 精准营销及服务（精准广告营销——DMP模式）
大数据可以用于产品的精准营销。在前面的例子中提到，借助大数据，武大郎可以分析不同客户需要什么不同的产品，进行差异化营销。具体来说，武大郎可以制作红糖烧饼、豆沙烧饼和咸烧饼三种产品，通过数据分析出每种烧饼不同的客户群特征，进行针对性营销。假设小学生喜欢豆沙烧饼，少妇喜欢红糖烧饼，中年男子喜欢咸烧饼，那么武大郎可以在小学生聚集的学校门口，营销豆沙烧饼；在少妇聚集的美容院门口，售卖红糖烧饼；在中年男子聚集的公司门口，售卖咸烧饼。武大郎可以通过大数据分析，发现这些客户群聚集的其他地点，进行针对性精准营销，提高产品的销量。
如同上述例子所示，大数据可以辅助企业找到目标客户，分析目标客户的特征，然后辅助进行精准营销，提高产品销量。当然，这个精准营销的过程一般情况下是分工完成的，有生产烧饼的，有分析客户特征的，有寻找目标客户的，还有做广告宣传的。
这个过程，许多时候是通过一个叫作实时精准竞价系统（RTB，RealTime Bidding）连接在一起的。实时精准竞价系统是一种利用第三方技术，在数以百万计的网站上针对每一个用户展示行为进行评估以及出价的竞价技术。其中包括如下几个部分。
（1）DSP（Demand Side Platform，需求方平台）
需求方平台允许广告客户和广告机构更方便地访问，以及更有效地购买广告库存，因为该平台汇集了各种广告交易平台的库存。简单地讲，DSP就是广告主服务平台，广告主可以在平台上设置广告的目标受众、投放地域、广告出价等。武大郎的销售烧饼需求就在这个平台发布。
（2）SSP（Sell-Side Platform，供应方平台）
供应方平台能够让出版商也介入广告交易，从而使他们的库存广告可用。通过这一平台，出版商希望他们的库存广告可以获得最高的有效每千次展示费用，而不必以低价销售出去。这个是宣传媒介聚集的平台，如各种网站以及各类App等。
（3）AdExchange（广告交易平台）
一个开放的、能够将出版商和广告商联系在一起的在线广告市场（类似于股票交易所）。交易平台里的广告存货并不一定都是溢价库存，只要出版商想要提供的，都可以在里面找到。
（4）DMP（Data-Management Platform，数据管理平台）
数据管理平台能够帮助所有涉及广告库存购买和出售的各方管理其数据，更方便地使用第三方数据，增强他们对所有这些数据的理解。DMP往往建立在大数据基础上，进行客户行为分析工作，给出客户的精准特征需求，让广告匹配最合适的受众，并在尽可能高精度匹配二者的过程中，完成商业价值变现。DMP承担的作用最类似大脑，能存储知识，并对各类知识进行分析与解读。
有了实时精准竞价系统之后，客户（受众）就可以收到自己感兴趣的个性化广告，而不再是千篇一律的大众广告。这也提高了广告产品的营销成功率。
3. 大数据的运筹学
前文已述，大数据本身就是一种资产，具有价值。由于大数据的存储资源和计算资源是有限的，在大数据的应用极其丰富之后，必然会出现“资源争用”等问题。这时，可以借鉴运筹学的方法，科学排布大数据的存储资源和计算资源，保证最紧要的业务应用能够优先获取资源，并优先产生计算结果。
运筹学是应用数学和形式科学的跨领域研究，利用统计学、数学模型和算法等方法，去寻找复杂问题中的最佳或近似最佳的解答。运筹学经常用于解决现实生活中的复杂问题，特别是改善或优化现有系统的效率。研究运筹学的基础知识包括实分析、矩阵论、随机过程、离散数学和算法基础等。其应用方面多与仓储、物流、算法等领域相关。
在大数据的数据仓库解决方案中，存储资源和计算资源十分珍贵，而企业的分析需求会越来越多，目前仅能靠人工粗放地管理数据仓库中的各种计算任务。像某电信运营商，随着市场压力的加大，来自市场分析的需求爆炸式增长，而系统的资源在一定时间内是非常有限的，不可能无限扩容。因此，如何安排这些来自业务部门的需求，合理调配系统计算资源，就成为摆在大数据管理者面前的突出问题。
在这个过程中，如果能够借助运筹学的方法论，就可以有效地分配系统资源，降低系统争用问题，实现大数据处理作业的精细化管理目标，实现大数据价值的最大化！
在基于Hadoop云计算的解决方案中，同样会面临类似问题，比如虚拟机的申请基于什么计算原则，是否仅仅依靠客户付费申请，如何能让Hadoop中每个计算节点的价值达到最大……同样可以借鉴运筹学的方法论。
在目前的大数据运营中，许多企业还没有进入到对大数据存储资源和计算资源的精细管理环节，但可以预见的是，在企业精细化管理过程中，大数据系统的计算压力会越来越大，如何更好地管理大数据资源的问题，迟早会摆在业界从业者的面前。
……

2015年8月，李克强总理主持召开国务院常务会议，通过了《关于促进大数据发展的行动纲要》，这意味着促进大数据发展正式升级为国家行动方略，成为新的发展方向。
那么，大数据到底应该如何发展呢？目前业界主要聚焦于如何收集和整理各种大数据，在大数据的业务应用和运营等方面实践相对较少。由于大数据尚缺乏完整的理论体系，故大数据产品和应用后续如何发展，仍有待进一步的研究和实践。
笔者基于15年的大数据理论探索和实践经验，首次将互联网思维应用于大数据中，并取得了一定的成绩。互联网思维像当年的“文艺复兴”一样，燃起了一把希望之火，给了中国一次难得的弯道超车的历史机遇。
本书对互联网思维中主要的几条原则，逐一进行分析，并将其应用到大数据发展中。本书给出了大数据产品设计的原则，并提出了改善客户体验的各种方法，在数据可视化方面积累了大量案例。通过降低大数据的使用门槛，能够让更多的人参与到应用中。结合大数据的发展过程，给出了大数据产品的内容和分类，然后基于“极致”的思维，给出了产品设计的原则和要求。
本书采用通俗的语言，借助形象的比拟，解释了复杂的技术概念。同时通过大量真实的案例，分析了互联网思维如何在大数据项目中具体落地并发挥价值。
笔者实际主持设计、参与了国内电信领域第一个大数据系统的建设和应用工作。该大数据系统容量超过18PB，各类应用成百上千，使用人数超过10万人，指导了企业的“精准化营销和精细化管理”，发挥了巨大作用。
本书内容是笔者在十多年大数据系统建设、应用实践中经验的积累和反思。引入互联网思维，指导大数据行业发展，希望能够对国内大数据从业者提供理论指导。
在编写本书的过程中，获得了业界朋友和公司领导的各种帮助，也希望以此书回报各位的关心和照顾。同时，也感谢家人多年持之以恒的支持！感谢我的妻子，感谢我的孩子！