1.3 大数据决策：大数据时代的大变革

人、机、物三元世界的高度融合引发了数据规模的爆炸式增长和数据模式的高度复杂化，特别是Web 2.0、传感器、视频监控等的应用，使得数据量以前所未有的态势迅猛增长，世界已进入网络化的大数据（Big Data）时代。大数据带给世界一个全新的解决问题的方法，将成为引领社会变革、推动政府职能转型、激发企业技术创新的利器。在这个技术浪潮到来之际，如何应时而变是每一个决策主体（组织或者个人）所必须认真面对的问题。

1.3.1 大数据时代的战略诉求

1．大数据从商业行为上升到国家战略

大数据的应用最初在互联网技术和商业模式发展中崭露头角，商业活动的每一个环节都建立在数据收集、分析和行动的能力之上。IDC和麦肯锡的大数据研究显示，大数据主要在四个方面带来了巨大的商业价值：一是对顾客群体的细分；二是运用大数据模拟实境，发掘新的需求和提高投入回报率；三是提高大数据成果在各部门间的分享程度，提高企业的整体管理链条和产业链条的投入回报率；四是进行商业模式、产品和服务的创新。

2010年，英国卡梅伦政府提出“数据权”（Right to Data）的概念，将其作为信息时代向全社会普及的公民基本权利之一。美国奥巴马政府提出“开放战略”，将数据开放作为政府、经济和社会开放的根本动力。这些概念和行动纲领的提出，标志着数据的定位正在逐渐从商业领域走进各国政府的战略核心。

2012年3月，美国政府投资2亿美元启动“大数据研究和发展计划”，通过提高从大型复杂的数据集中提取知识和观点的能力，加快在科学与工程中前进的步伐，加强国家安全，推进科学发现和创新研究。这个计划的发布正式将大数据技术从商业行为上升到了国家战略。这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府将大数据比作“未来的新石油”，将“大数据研究”首次上升为国家意志。

联合国2012年在纽约总部发布了一份大数据政务白皮书，指出大数据时代已经到来，希望各国使用极大丰富的数据资源来更好地服务和保护人民。

2013年，英国商业、创新和技能部宣布，将注资1.89亿英镑研发大数据技术，将在基础设施方面投入巨资，加强数据采集和分析，从而让英国在“数据革命”中占得先机。2013年的八国峰会（G8 Summit），签署了《八国集团开放数据宪章》（G8 Open Data Charter），明确了开放数据的5大原则和14个重点开放领域，其主要宗旨是推动政府更好地向公众开放数据，挖掘政府拥有的公共数据的经济潜力，促进经济增长，激发创新，并加强责任感。

2015年9月，我国国务院正式发布《国务院关于印发促进大数据发展行动纲要的通知》（国发〔2015〕50号），成为我国促进大数据发展的第一份权威性、系统性的文件。该文件从国家大数据发展战略全局的高度，提出了我国大数据发展的顶层设计，是指导我国未来大数据发展的纲领性文件，其核心是推动各部门、各地区、各行业、各领域的数据资源共享开放。中国和美国政府的大数据战略比较详见本书附录A。

大数据带来了深刻的社会变革，能够显著提升政府效率、透明度和服务水平。美国国家安全局（NSA）利用大数据分析来对抗恐怖主义活动，军方利用大数据搜查到拉登的蛛丝马迹，从而将其击毙。政府和社会数据的深度利用，有利于透明化与民主监督，增强公民参与意识，推动自我赋权（self-empowerment），改进政府服务效率和水平，加强政策影响力评估，推动产生新知识，改进或创新产品和服务等。

大数据驱动下的信息产业日渐成为关系国民经济和社会发展全局的战略性、先导性产业。拥有数据的规模和质量以及对数据的控制和运用能力，将直接决定一个国家的核心竞争力。大数据像土地、石油和资本一样成为经济、社会运行中的根本性资源，国家的数据主权将是继海、陆、空、天、网之后另一个大国博弈的空间。

面对各国政府纷纷出台政策推动大数据发展，我国也积极应对，在多个科技项目中进行了重点支持。如2011年“核高基”科技重大专项将非结构化数据管理作为需要突破的关键技术加以重点支持；2012年12月国家发展改革委员会将“数据分析软件开发和服务”列入专项指南；2013年大数据被科技部列入“973基础研究计划”和国家自然科学基金指南中；2014年，科技部启动了“大数据计算”重点基础研究发展计划，国家自然科学基金委员会也启动了大数据重点项目群。

2．大数据从数据资产转变为战略资源

相比传统的海量数据，大数据从TB级别跃升到PB甚至EB级别，在量级上有了更大的提升。除了体量巨大之外，大数据还具有三个海量数据所不具备的特点：第一，数据类型多，音频、视频、图片、GPS等各类数据广泛汇集；第二，价值密度低，如连续不间断的视频监控过程中，可能仅有几秒的数据是有价值的；第三，处理速度快，这与传统的数据挖掘技术有着本质的不同。

人类从工业时代进入信息时代的一个显著特征，即数据成为政府、企业和个人的重要无形资产，与固定资产共同成为生产过程中的基本要素。随着大数据时代的到来，由于数据量级的指数型增长及其本身蕴含的巨大挖掘价值，大数据的定位已不仅仅是传统意义上的数据资产，而是转变为与自然资源、人力资源同等重要的新型战略资源，辐射到政治、军事、社会、科技、商业、环境等各个领域。

大数据带来思维方式、商业运作和管理制度等多方位的变革，涉及政府、行业企业和个人，是现在和未来的战略制高点。人类第一次有机会和条件，在如此众多的领域和如此深入的层次获得和使用全面数据、完整数据和系统数据，深入探索现实世界的规律，获取过去不可能获取的知识，得到过去无法企及的商机。通晓如何利用大数据的国家或企业将具备新的竞争优势，重新划定竞争版图。

3．大数据从智能分析延伸到科学决策

随着新一代信息技术的兴起，物联网、移动终端、社交网络、GIS等的广泛应用为大数据提供了丰富的数据来源。数据中包含着每个用户的身份、地点、时间、喜好、厌恶、行为、社会关系等大量直接或潜在的信息。随着数据挖掘技术的发展，面向大数据的智能化分析不可避免地成为了科技界和企业界共同关注的前沿热点。

在思维方式上，数据的丰富及易得将改变人类认识世界的方式。

（1）从样本式推导走向全数据审视。过去的科学家、社会学家、经济学家、企业家等由于技术和资源的限制，只能通过采样调研和统计分析等手段了解关注的对象，而如今数据的采集和存储成本已经很低，完全可以通过全部数据进行分析，不存在样本抽样的概念。大数据已成为继实验归纳、模型推演和计算机模拟等范式之后的第四科研范式。

（2）从精确性走向混杂性。大量数据的应用还具有充分的容错性，过去采样的数据如果出现失误可能导致统计结果偏离严重，而采用全部的数据则会将有瑕疵的若干数据淡化处理。

（3）相关关系成为因果关系的有效补充。数据分析不再局限于验证已有的推测是否正确，而是努力寻找背后的因果关系。在很多情况下，只需要知道“是什么”就能做出决策，而不需要对“为什么”投入大量人力、物力进行探究。

大数据将产生新知识，促进创新，推动传统产业转型发展，催生全新产业，产生巨大的经济价值，成为产业升级与经济转型的创新要素。数据的重新组合将会创造新的知识和思想，甚至创造全新的领域。比如在19世纪，研究人员通过将黑死病死亡率和饮用水井的地理分布联系起来，发现了饮用水污染和黑死病之间的关系，从而推动伦敦建造了全新的排污系统，大幅度改善了公众卫生状况。

通过大数据的重新组合和深入应用，人们可以期待发现更多类似的新知识。据麦肯锡统计（见图1.5），大数据能为美国医疗服务业每年带来大约3000亿美元的商业价值；能为欧洲的公共管理每年带来2500亿欧元的价值，能帮助美国零售业提升60%的净利润，并帮助降低美国制造业50%的产品开发、组装成本。美国通用电气公司通过每秒分析上万个数据点，融合能量储存和先进的预测算法，开发新型风机，效率与电力输出分别比现行风机提高了25%和15%。Gartner预测，大数据将为全球带来440万个IT岗位，1300多万个非IT岗位。数据使用率提升10%对行业人均产出的平均提升幅度如图1.6所示。

大数据深刻影响着每一个人，更好地使用大数据可以帮助个人降低信息获取成本，在生活中做出更好的决策，增加社会活跃度，提升生活质量。如美国政府数据门户网站（Data.gov）提供50多类数据以及处理这些数据所需的软件工具，所有人都可以自由下载使用。该网站的数据资料不仅有利于公众了解政府政策，也对居民的日常生活提供了实在的帮助；丹麦一位女士利用公共数据开发的网站findtoilet.dk，可以显示全丹麦公共厕所的信息，来帮助她所认识的有膀胱问题而不敢出门的人士放心外出；Zillow可以帮助用户在大量数据分析的基础上，做出购房以及居住地域的选择，类似的公司还有Ttulia、Estately、Redfin等。

大数据从最初的概念和理念演变到今天成为各国政府的行动纲领和资本市场的投资方向，单纯对大数据本身的智能分析已不足以满足政府和企业应对技术模式创新、产业垂直整合和业务深度融合的需求。面对低延迟、细粒度、多样化的数据源，如何实现复杂数据的信息协同和科学决策的智慧支撑成为新的时代命题。

1.3.2 大数据分析的关键技术

随着智慧城市发展的需求变革，大数据将最终服务于政府、企业和科研机构的科学决策，这就从信息对称和快速反应的角度对大数据本身的技术体系提出了挑战。在海量数据的技术基础上，大数据由于其自身的固有特征，在非结构化数据的海量存储与实时处理、多数据源的整合与集成、多维尺度分析、可视化分析、数据质量、安全与隐私保护等五个方面面临更大的挑战。除此之外，大数据还带来了一些其他的技术挑战，如大数据的新型表示方法、大数据的去冗降噪技术、高效率低成本的大数据存储、适合不同行业的大数据挖掘分析工具和开发环境、大幅度降低数据处理、存储和通信能耗的新技术等。

信息技术的发展经历了从硬件到软件再到服务的变迁。大数据的本质实际上是通过新一代信息化技术从各种各样的终端理解数据，快速整合，挖掘价值，并最终做出决策。

大数据的4V特征对涉及产生、管理、整合、分析、价值提取生命周期各个环节的传统技术都带来了巨大的挑战。当前关注的大数据关键技术主要涉及海量分布式文件系统、并行计算框架、非关系型数据库（NoSQL）、实时流数据处理、内存计算及智能分析技术，如模式识别、自然语言理解、应用知识库等。大数据分析的基础技术如图1.7所示。

1．开源软件受到广泛欢迎

开源项目和产品正在主导新兴的大数据市场。分布式处理的软件框架Hadoop、用来进行数据挖掘和可视化的软件环境R、非关系型数据库HBase、MongoDB和CouchDB等开源软件都在大数据技术领域占据重要地位。2012年排名前5位的数据挖掘工具中，有4个是开源软件。

2．人工智能技术不断融入

大数据可以看作是对大规模数据集合的智能分析处理。大数据之所以受到重视，是因为它能够帮助人们从似乎无穷多的数据中发现信息、发现规则、发现知识、发掘智慧，进而对未来的发展态势做出预测。要想对大数据做出这样的智能处理，就必须要用到人工智能技术，大数据的管理、分析和可视化等技术无不与人工智能相关联，目前机器学习、数据挖掘、自然语言理解、模式识别等人工智能技术已经深深融入到大数据各流程的处理技术之中。

3．非结构化数据处理技术受到重视

云计算时代的到来使得数据创造的主体由企业逐渐转向个体，而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。信息化技术的普及使得企业更多的办公流程通过网络得以实现，由此产生的数据也以非结构化数据为主。因此，对非结构化数据的处理需求越来越强烈，非结构化处理技术越来越受到重视，非结构化数据采集技术、NoSQL数据库、流处理技术正在快速发展。

4．分布式处理架构成为大数据处理的普遍模式

由于大数据要处理大规模、海量、异构的数据，传统的处理方法在存储空间、处理时间和效率上都难以满足人们对大数据处理的要求，所以在各个处理环节中都普遍采用分布式方法进行并行处理。此外，由于云计算技术的发展，利用云计算技术处理大数据问题成为人们广泛采用的方法，而云计算技术也是以分布式处理为核心的。目前，MapReduce等分布式处理方式已经成为大数据处理各环节的通用处理方法，分布式文件系统、大规模并行处理数据库、分布式编程环境等技术也普遍被使用。

数据分析是大数据决策的核心。大数据的价值体现在对大规模数据集合的智能处理，从而可在无穷多的数据中发现信息、知识和智慧。要想实现这样的价值，最关键的步骤就是对数据的分析和挖掘。数据的采集、存储和管理都是数据分析步骤的基础，数据分析得到的智能结果可以应用到大数据相关的各个领域。大数据将充分利用机器学习、数据挖掘、模式识别、自然语言理解等人工智能基础技术，进一步实现数据分析的智能化。

2013年11月，初创企业Vicarious开发出一种算法，可击败文字型的CAPTCHA。其中，被认为难度最高的Google的reCAPTCHA测试其识别率达90%，而在Yahoo、Paypal及CAPTCHA.com的表现甚至更好，说明数据分析技术又迈出了重要一步。

能够对自然语言处理和图像识别等前沿领域提供支持的深度学习技术是大数据下最热门的趋势之一。Gigaom.com网站整理了一个指南：深度学习领域的快速发展，鼓舞着越来越多的在自然语言处理和图像识别等领域的初创企业去研究它。同时，包括Google、微软、Facebook和雅虎在内的科技巨头，在深度学习方面的投入也在提高。有不少高校的研究机构也在该领域进行前沿技术的研究。深入学习技术的主要参与者如表1.1所示。

除此之外，大数据还带来了一些其他的技术挑战，如大数据的新型表示方法、大数据的可视化分析、大数据的去冗降噪技术、高效率低成本的大数据存储、适合不同行业的大数据挖掘分析工具和开发环境以及大幅度降低数据处理、存储和通信能耗的新技术等。

1.3.3 大数据的安全和隐私保护

大数据对数据的完整性和可用性带来了挑战，但在防止数据丢失、被窃取和被破坏上存在一定的技术难度，传统的安全工具不再像以前那么有效，而且大数据技术也可能成为黑客的攻击手段和载体。

1．大数据使个人隐私保护更为困难

20世纪90年代，可以通过“性别+邮编+出生年月日”识别出87%的美国人，只要保护好这些个人信息就能很好地保护隐私。但在今天，通过分析用户4个曾经到过的位置点就可以识别95%的用户，分析Facebook的like按钮就能获得大量用户个人信息，如种族（准确率95%）、性别（93%）、性取向（88%）、单身状况（67%）等，这使得保护个人隐私更为困难。

2．国家安全面临更大威胁

2013年5月底，随着“斯诺登事件”爆料棱镜（Prism）计划，美国国家安全局（NSA）秘密对其国内公民和其他国家的大规模数据收集和监控行为浮出水面，谷歌、微软等6家互联网企业和运营商为其提供了数据支持。其中，无界告密者（Boundless Informant）项目在2013年2月至3月的短短30天内，就从全世界互联网上收集到970亿条数据。据美国媒体披露，NSA还有一个名为定制入口组织（Tailored Access Operations）的秘密机构，有超过1000名军队及民间专家，该组织每小时可获取2PB数据并可自动处理。英国也有类似的大数据监控行动，并与美国共享情报。中国大陆是美国监控的重点对象。据斯诺登称，在过去15年时间里，定制入口组织已渗透到中国计算机及电信系统，获得了有关中国“最好的、最可靠的情报”。

3．数据安全的风险更加凸显

随着大数据海量数据存储和信息分析萃取手段的进步，必将加大信息的开放度，带来的副作用是IT基础架构将变得越来越一体化和外向型，这就对数据安全和知识产权构成了更大的风险。同时，由于大数据拓宽了对个人信息获取的渠道，引发了用户隐私性与信息利用便利性之间的冲突。在大数据时代，不论告知与许可，还是匿名（隐身）、模糊化，这三大传统的用户隐私保护策略都将失效。消费者虽然可以受惠于海量数据挖掘带来的更符合消费需要和更低价格的商品，但也随着个人购买偏好、健康、财务情况等数据被收集，增加了对隐私安全的担忧。因此，必须采取应用和管理同步、开放和管控并重的方法，在促进大数据时代市场良性竞争的同时，切实保护数据安全。

随着数量越来越多的数据被数字化，跨越组织边界而流动着，一系列政策问题将会变得越来越重要，这包括但不限于隐私、安全、知识产权和责任。显然，随着海量数据的价值愈加明显，隐私是个重要等级（尤其是对消费者来说）不断提高的问题。个人数据（例如健康和财务记录）经常能够提供最重要的人类福利，例如，帮助精准确定适当的医疗或者最恰当的金融产品。然而，消费者也将这些类别的数据视为最敏感的个人隐私。显然，个人和其生活所在的社会将不得不努力在数据隐私和数据的功用之间权衡取舍。

海量数据日益提升的经济意义也昭示了一系列法律问题，尤其是当其与如下事实联系起来时：即数据与许多其他资产具有根本性的差异。数据可以与其他数据结合起来完美而轻松地复制，同样一份数据可以由多个人同时使用。这些是数据与实体资产相比的独有特征。有关数据所附带的知识产权的问题不容回避：何人“拥有”某份数据？某一数据集附带着何种权利？数据的“公平使用”的定义是什么？此外，还有与责任相关的问题：当一份不准确的数据导致负面结果时谁应负责？要充分发挥海量数据的潜力，此类法律问题需要澄清，也许会随着时间的推移逐步澄清。

4．大数据跨境流动问题更加频繁

跨境数据服务折射出隐私安全。2011年，两位美国技术人员发现iPhone会在隐蔽的情况下持续收集用户位置信息并且保存。《华尔街日报》调查后发现，即便用户关闭手机的定位功能，也不能阻止这种情况发生。多数用户在使用手机应用商店服务时，都会“同意”所谓的隐私协定，但他们并不清楚这个简单的行为意味着什么。这些应用商店和软件开发者会利用这些资料去做用户完全不知道的事情。无论用何种方式登录互联网，许多隐藏在背后的机构和个人可以瞬间知道你是谁、来自哪里、收入高低、品牌喜好，甚至一周内的消费计划。而孤立的用户永远不会想到，这些信息就是通过iPhone的一次不经意下载、搜索、导航、点评被掌握的。

目前，我国对大数据的安全保护能力还十分有限。当前，发达国家已经借助大数据发展逐步掌握窃取、挖掘别国信息的能力，“棱镜门”事件就是这一现象的集中反映。我国对大数据的保护能力还十分有限，数据被恶意使用的现象难以掌控。2012年中国的数据存储量是364EB，其中55%（200EB）的数据需要一定程度的保护，然而只有96EB的数据得到保护；个人和企业的数据资源保护意识比较单薄，如CSDN 600万个人注册信息泄露，中国人寿80万保单个人信息泄露。

1.3.4 大数据决策的应用案例

目前，大数据决策正在向更多的行业和应用场景拓展。在行业方面，大数据决策已经从电子商务、互联网、快速消费品等行业向金融、政府、公共事业、能源、交通等行业扩展；从应用场景来看，也从结构化数据的分析发展到半结构化、非结构化数据的分析，尤其是社交媒体信息分析受到用户的更多关注。

1．谷歌

大数据决策最著名的案例当属2009年甲型H1N1流感爆发几周前，互联网巨头谷歌公司的工程师们在《自然》杂志上发表了一篇引人注目的论文。它令公共卫生官员们和计算机科学家们感到震惊。文中表示，和疾控中心一样，谷歌也能判断出流感是从哪里传播出来的，而且其判断非常及时，不会像疾控中心一样要在流感爆发一两周之后才可以做到。谷歌公司发现能够通过人们在网上检索的词条辨别出其是否感染了流感后，把5000万条美国人最频繁检索的词条和美国疾控中心在2003-2008年间季节性流感传播时期的数据进行了比较。通过一个数学模型处理后，其预测与官方数据的相关性高达97%。所以，2009年甲型H1N1流感爆发的时候，与习惯性滞后的官方数据相比，谷歌成了更有效、更及时的指示标，公共卫生机构的官员获得了非常有价值的数据信息。

2．零售行业

诸如沃尔玛、Tesco（英国零售巨头）等巨头已从数据中获得了巨大的利益，也因此巩固了自己在业界的长盛不衰。以曾经因“少女怀孕事件”而成为大数据典型案例的Tesco公司为例，这家全球利润第二大的零售商从其会员卡的用户购买记录中，可充分了解一个用户是什么“类别”的客人，如速食者、单身、有上学孩子的家庭等，并可基于这些分类进行一系列业务活动。比如，通过邮件或信件寄给用户的促销可以变得十分个性化，店内的上架商品及促销也可以根据周围人群的喜好、消费的时段使其更加有针对性，从而提高货品的流通。这样的做法为Tesco获得了丰厚的回报，仅在市场宣传一项，就能帮助Tesco每年节省3.5亿英镑的费用。

3．能源行业

SaaS型软件公司Opower使用数据来提高消费用电的能效，并取得了显著的成功。Opower与多家电力公司合作，分析美国家庭的用电费用并将其与周围邻居的用电情况进行对比，被服务的家庭每个月都会收到一份对比的报告，显示自家用电在整个区域或全美类似家庭中所处的水平，以鼓励节约用电。据报道，Opower的服务已覆盖了美国几百万户居民家庭，预计可为美国消费用电每年节省5亿美元。

4．生物信息行业

生物信息是继互联网行业之后数据迸发最迅速的行业，并将远远超过互联网产生的数据：人类用0和1创造了虚拟世界，而大自然用A、C、T、G（腺嘌呤Adenine、胞嘧啶Cytosine、胸腺嘧啶Thymine、鸟嘌呤Guanine）四种元素创造了万物，生命的产生、发展、消亡的奥秘尽在其中。随着测序技术的发展，全基因组的测序价格由十年前的上亿美元降至今天的数千美元，这使得更多人、物种的DNA信息的获取成为可能。个体全基因组信息的获取，使得个性化诊疗服务成为可能。大数据时代，一切的一切都存在着可能，而这一切的改变我们也正在体验之中。

5．阿里巴巴

阿里巴巴旗下的淘宝网是全球访问量最大的电子商务网站。以前，淘宝网的事务处理依托国际数据库巨头甲骨文的商业数据库软件，成本很高，但性能和可扩展性较差，制约了企业发展。几年前，淘宝网下决心使用开源软件MySQL Cluster替代，其事务处理的性能和可扩展性都有了数量级的提升。现在淘宝网的全部应用软件（包括数据魔方等数十种大数据计算应用）和基础软件都是自行开发或采用开源软件，摆脱了商业软件制约。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业，对其发放无须担保的贷款。目前已放贷300多亿元，坏账率仅0.3%，大大低于商业银行。

淘宝网还建立了“淘宝CPI”，通过采集、编制淘宝网上390个类目的热门商品价格来统计CPI，比国家统计局公布的CPI还提前半个月预测经济的走势。

6．华大基因公司

华大基因是目前世界上最大的基因组学研究中心，也是我国典型的大数据处理和应用公司。该公司建立了大规模基因测序、克隆、农作物基因组等技术平台，测序和基因组分析能力世界领先。目前，华大基因已经完成了水稻、谷子、玉米、大豆、番茄等重要农作物的全基因组测序，对25种栽培稻和24种野生稻进行了基因组扫描和分析，找到了162个基因，这些基因与水稻高产性状紧密相关。该公司还启动了百万人基因图谱计划，预计3～5年内测定100万人以上的全基因组图谱，目前已针对染色体疾病等多种疾病开发了先进的基因检测技术，形成了贯穿整个生命周期的基因检测与诊断技术体系。

7．农夫山泉

农夫山泉通过大数据分析技术使销售额提升了大约30%，并使库存周转从5天缩短到3天，同时其数据中心的能耗降低了约80%。

8．百分点公司

百分点公司拥有海量网购消费者偏好数据，积累了超过1.4亿名网购消费者的消费偏好和200多亿个消费偏好标签，已成为国内最大的跨网站消费偏好平台。

9．中信银行

中信银行信用卡中心通过部署大数据分析系统，实现了近似实时的商业智能和秒级营销，运营效率得到全面提升，每次营销活动配置平均时间从2周缩短到2～3天，交易量增加65%，不良贷款比率同比减少了0.76%。