大数据是新的战略资源，是未来的新“石油”，是驱动社会经济发展的重要引擎。中国，作为全球最大的发展中国家和全球第二大经济体，正面临着经济结构转型升级、公共服务改进提升、环境保护持续推进等多方面的压力，利用大数据推动实现信息的数据化、数据资产化，资产价值化，价值社会化和决策最优化，让数据资源转变成先进生产力，有助于中国更好的应对挑战，为中国经济增长、产业转型和企业创新提供新的空间，提升中国国家治理能力。
      中国大数据产业发展概况
      自2011年麦肯锡、Gartner、IDC、世界经济论坛等机构提出“大数据”概念以来，全球兴起了一股大数据热潮，大数据被广泛应用于政治、经济、文化、社会等各领域，大数据产业生态逐渐形成。
      2014年，FirstMark资本推出了全球大数据产业生态圈3.0版本，按照大数据市场的最新发展，将产业版块划分为六块，分别为数据源、开源、基础设施、分析、跨平台基础设施、应用。其中，数据源领域的产业热点是传感器数据；基础设施领域的产业热点是NoSQL和NewSQL数据库；分析领域的产业热点是数据可视化、非结构化数据；应用领域的产业热点是广告优化和营销。
      1．中国大数据产业规模和发展阶段
      2011年被视为中国大数据市场元年。据IDC《中国大数据技术与服务市场2013年’2017年预测与分析》测算，中国2017年大数据市场规模为8. 50亿美元。根据CCW Research数据报告显示，2012年中国大数据市场规模为4.7亿人民币，2013年预计增长到11.2亿人民币，此后保持lOO%以上的年增长率，到2016年中国大数据市场规模将达93.9亿人民币。根据技术和商业社群Wikibon于2013年4月17日发布的《2012-2017年大数据企业收入和市场预测》报告，2012年全球大数据市场总体规模为114亿美元，相比2011年增幅为59%;2013年市场规模为181亿美元，年度增幅为61%; 2017年大数据市场规模将达到478亿美元，2012-2017年年度复合增长率为31%。尽管各公司预测所基于的标准不同，但可以看出全球和中国目前的大数据产业规模都不大。与全球规模相比，中国的增速将快于全球平均增速，中国在未来几年将迎来大数据市场规模的迅速扩展。
      从发展阶段来看，由Gartner的相关信息表明，大数据的概念已经热炒了数年，但是无论是全球还是中国，大数据发展依然处于市场的早期阶段。现阶段是大数据真正落地的开始。大数据不是一个孤立的技术，大数据的发展离不开互联网尤其是移动互联网和物联网提供数据和应用场景的支撑，离不开云计算提供数据存储和分布式计算能力的支撑，也离不开物联网提供的万物互联能力的支撑，所以随着大数据产业及周边产业整体上的理性化和能力落地化，大数据开始实实在在地为企业和政府，甚至是每个人解决问题。企业的大数据应用正在从概念验证和实验走向生产环境。未来几年是大数据市场竞争的关键时期，也是一个检验大数据是否真的有“大价值”的时期。
      2．中国大数据产业链上的企业发展情况
      从大数据产业链上的中国企业数量来看，本研究团队采用创新能力、服务能力、解决方案和市场影响力四项指标综合筛选出中国ICT市场中将大数据作为核心业务之一的企业，目前企业数量约126家，其中采集、汇聚、基础设施、分析和挖掘、跨平台基础设施、应用领域的企业数量分别为9、5、22、32、8、50家。从全球的大数据产业生态图3.0可以看到，大数据产业生态圈中的知名企业和部分初创企业有近400家，其中（采集、汇聚）、数据源、基础设施、分析和挖掘、跨平台基础设施、应用领域的企业数量分别为29、97、118、12、69家。从中国和全球的企业数量比较来看，无论是中国还是全球，分析和应用的企业数量都较多，是大数据市场最活跃的领域。中国大数据分析和应用的企业数量占到了中国全部大数据企业数量的6006以上，全球大数据分析和应用的企业数量占到了全球全部大数据企业数量的50%以上。
      从中国企业的大数据业务发展模式和趋势来看，产业链垂直整合和横向延伸逐渐成为主流。以百度、阿里巴巴和腾讯等大型互联网公司为代表的中国互联网企业基于美国大数据开源技术，开始建设大数据跨平台融合基础设施，垂直整合存储、挖掘、分析等多项业务。传统做数据采集的企业也做数据汇聚业务，并且单个企业开始向多个行业横向采集和汇聚数据，包括互联网、金融、民生、地图等。传统做单个领域的数据分析和挖掘的企业开始依赖自身的技术研发实力，开发通用的大数据分析和挖掘分析工具。
      3．中国大数据产业的技术水平
      从大数据产业链来看，每个产业链环节上中国均掌握了一定的技术，这些技术大多基于美国的开源技术。例如，在基础设施领域，通过使用NoSQL、NewSQL等新型数据库完成数据存储，使用Spanner等技术完成大数据的管理，以及结合软硬件于一身的一体机技术。典型代表有：人大金仓的数据库、浪潮的大数据一体机、淘宝TFS数据文件系统为代表的新型分布式存储系统和淘宝Oceanbase新型数据库。在数据分析和挖掘领域，通过使用Hadoop分布式并行计算、Spark分布式内存计算、数据挖掘、机器学习和深度学习等深度神经网络技术，开展大数据分析和挖掘。典型代表有：可处理15万并发任务数的阿里巴巴飞天5K集群和华为大数据分析平台Fusionlnsight。
      随着中国大型互联网公司对产业链各个环节的整合，这些公司开始自主研发全产业链的大数据解决方案，建立跨平台融合基础设施。例如，百度公司开发的“大数据引擎”项目，通过“开放云平台”解决数据存储与计算规模瓶颈，通过建立“数据工厂”使用hadoop、Spark等技术实现数据管理与挖掘，通过“百度大脑”使系统具备大规模机器学习和深度分析能力，实现数据智能。
      从大数据产业链各项技术的整体发展情况来看，中国大数据产业链在采集、汇聚、基础设施、分析和挖掘、跨平台基础设施、应用六大领域的技术发展不均匀，分析挖掘和应用领域的技术相对比较领先。但整体而言，中国的大数据技术侧重工程优化，缺乏体系化原创技术；主管部门对技术的推动缺乏系统性和前瞻性；原创技术、开源实现的产出少，行业扩散缓慢，通道不畅；互联网企业技术发展快，但贡献少；互联网之外的运营商、金融、民生行业技术发展慢、影响小。对比美国大数据产业链各领域技术，中国大数据技术还普遍落后，尤其在技术开源方面，中国大数据技术开源领域基本还是空白。
      4．中国大数据的行业应用情况
      大数据应用是大数据价值外现最为关键的一环，大数据应用的好坏与否直接决定了大数据价值能否得以充分发挥，决定了大数据产业是否能够蓬勃发展。中国受到技术发展水平和信息化发展程度因素的影响，大数据应用呈现“阶梯式”发展趋势，首先由互联网行业所带动，然后逐渐向其他行业延伸，传统行业的大数据应用还不足。从2012年中国各行业大数据市场规模可见，互联网和政府应用最多，各占应用总量的14.9%；其次应用较多的是电信和金融领域，占到10.6%：教育、交通和流通领域则占比较低，均在4.5%左右。
      中国大数据应用可分为三种模式：单一领域的全量模式、垂直领域延伸模式和不同领域交叉模式。单一领域全量模式指的是企业通过对自身的大数据分析，优化产品线，进行经营分析等。垂直领域延伸模式指的是将自身行业的数据域提供给垂直领域的其他行业，完成垂直领域的延伸数据分析。不同领域交叉模式是指两个或多个行业的数据交叉应用。
      目前，中国大数据应用主要集中于单一领域的全量模式，垂直领域延伸模式应用较少，不同领域交叉模式应用更加屈指可数。但随着互联网企业的带动和互联网等企业的大数据跨平台基础设施的开放共享，中国垂直行业以及中国各行业大数据的交叉、渗透和融合将更加普遍，中国大数据应用必然将由单一领域全量模式和垂直领域延伸模式向不同领域交叉模式发展。因为互联网行业具有数据量大、维度丰富、价值高、技术领先的特点，易于与其他行业融合产生新的价值。目前，互联网行业正致力于将自身的大数据应用能力开放出去，与金融、公共服务、医疗等民生领域进行融合应用，打造大数据生态圈。同时，民生领域也在积极探寻与互联网行业的大数据融合应用，提升本行业大数据应用发展现状。阿里小贷业
务就采用了互联网数据与金融数据交叉模式，根植于阿里巴巴电子商务平台的大量企业以及消费者的行为数据，通过大数据分析和金融信用风险评估，建立无抵押的信用体系区分信用等级，控制信贷风险，挑战了传统银行的信贷模式，为小微企业贷款提供了更多机会。
      5．中国大数据产业发展的政策环境
      中国非常重视大数据的发展，2012年以来，中国科技部、发改委、工信部等中央政府部门以专项资金支持的方式支持了一批大数据相关项目，包括“面向大数据的先进存储结构及关键技术”项目，“大数据分析软件开发和服务创新”项目，“大数据计算的基础研究”项目，“媒体大数据内容理解与智能服务”项目，“基础研究大数据服务平台应用示范”项目，“大数据平台安全管理产品”项目，“移动互联网大数据关键技术研发及产业化”项目，“软件定义的云数据中心网络基础理论与关键技术”、“网络信息空间大数据计算理论”，“网络大数据计算的基础理论及其应用研究”和“云计算工程专项”等。
      中国地方政府也积极推动大数据发展，2013年以来陆续出台推进计划。总体上看，各地大数据发展政策各有侧重，形成了三大模式。模式一是强调研发及公共各领域应用。如上海市《推进大数据研究与发展三年行动计划》提出，将在三年内选取医疗卫生、食品安全、终身教育、智慧交通、公共安全、科技服务6个有基础的领域，建设大数据公共服务平台。模式二是强调以大数据引领产业转型升级。如北京中关村《关于加快培育大数据产业集群，推动产业转型升级的意见》提出，要充分发挥大数据在工业化与信息化深度融合中的关键作用，推动中关村国家自主创新示范区产业转型升级。模式三是强调建立大数据基地，吸纳企业落户。如重庆、贵州、陕西、湖北等地都提出建设大数据产业基地的计划，力图将大数据培育成当地的支柱产业。
      中国大数据产业发展存在的问题和挑战
      中国大数据市场拥有广阔的发展前景，但从中国大数据产业链本身的各个环节来看，还存在不少的问题，与美国等发展国家比较来看，中国大数据发展也面临着不少的挑战。
      1．中国大数据产业发展面临的问题
      在数据采集领域，中国大数据采集产业发展缓慢。主要原因有三个：一是政府数据不开放。自2002年《国家信息化领导小组关于我国电子政务建设指导意见》发布以来，许多政府部门开展大规模的电子政务建设。经过十多年的电子政务建设，各级政府部门积累了大量数据。目前，绝大多数中央部委和省级政府部门的核心业务都有数据库支撑，核心业务数据库覆盖率超过80% [28]，而大部分数据都不开放[29]，而且机器可读性低，直接影响了中国的大数据产业发展。二是数据交易无市场。中国的数据交易市场还处于探索阶段，国内的大数据交易市场还未建立，大数据交易的环境没有出现，各个企业多是在自由数据中进行分析挖掘。三是数据采集无法律。数据采集和隐私保护无相关法律，导致对待数据采集和使用问题上，涉及法律表示不明等现象，很多企业因此对数据采集望而却步，导致大数据资源未被收集、数据资源被浪费。
      在数据整合领域，中国大数据整合产业开始起步，探索大数据整合之路。大数据强调“大而不同”，中国处于大数据发展初期，各级政府部门以及各大传统行业都对大数据认识不全面，过多的强调大数据所涉及的国家和公共安全、以及商业信息上面，对待自身大数据的开放与整合呈反对和观望状态，不开放、不交易、不整合，造成行业领域间的数据封闭，导致自身领域的数据孤岛，也直接造成了中国大数据整体的出现信息孤岛，不同领域数据整合的应用案例微乎其微。
      在数据分析和挖掘领域，中国大数据分析和挖掘领域目前发展迅速，但是整体开源程度差，国际影响力低，分析处理和挖掘技术基本处于跟随美国的状态。在以开源Hadoop、Spark等为代表的大数据处理和分析技术上，中国目前在开源代码的贡献量上远低于欧美国家，这直接导致了中国在大数据领先技术的把握较差和大数据国际话语权过低，技术落后于人。就OpenStack开源体系而言，中国目前只有华为加入其中，国内其他企业的产品尚未兼容开源平台，相较于全球超过20家公共云服务商采用OpenStack作为基础平台而言，中国步伐缓慢。
      在数据应用领域，中国的大数据产业生态圈中包含了丰富的大数据应用企业。中国的大数据应用在互联网企业发展迅速，紧跟美国等大数据领先国家的互联网企业。但是，中国政府和民生行业大数据应用较少，这也与中国的数据开放程度差，大数据隐私立法不存在有关，这直接导致了像医疗和交通之类关系百姓民生的行业，大数据数据资源极为丰富，却无法出现实质性的应用，大数据的价值无法惠及人民。除此之外，大数据呈现、3D等数据可视化技术领域发展缓慢，数据可视化是大数据产业与用户接触的最后一环，数据可视化产业的高低将直接影响中国大数据产业的整体发展，为了更好的将大数据产业的价值最大化，可视化技术领域亟待提高。
      2．中国大数据产业发展面临的挑战
      中国大数据发展速度短期内很难追赶上美国等发达国家。一方面，中国大数据起步落后于美国，整个产业发展速度落后于美国等西方发达国家，且数字化的数据资源总量低。另一方面，中国目前的大数据存储技术，数据处理技术，和数据分析技术的创新主要依靠企业自身的研发投入，创新难以为继。此外，中国新增数据总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，中国目前已有数据资源还存在标准化、准确性、完整性低，利用价值不高的情况等。
      中国工程院院士邬贺铨指出，中国在自主可控的大数据分析技术与产品方面，与发达国家相比有不少差距，中国企业在数据库、数据仓库、商业智能分析等领域基础薄弱，落后与外国先进企业。
      中国企业尚未形成发展闭环。以企业为主体的大数据创新中，美国科技公司的发展是闭环发展。以Google为例，Google作为典型互联网企业，通过自身搜索引擎在互联网上的霸主地位，从互联网上获取了海量的大数据，继而因为大数据存储和分析的需求研究开发了云计算技术，有了更好的云计算技术，可以处理更为海量的数据，但单靠搜索领域的大数据还不够全面，于是又研发了安卓手机操作系统，采集移动端大数据，通过采集的丰富的大数据进行大数据分析和挖掘，更好的巩固自己在互联网领域的霸主地位，更好的获取大数据。而中国企业阿里巴巴10月推出阿里手机操作系统，对打造闭环发展意义重大。阿里巴巴作为中国第一大电子商务企业，通过其在中国电子商务领域的霸主地位，从互联网上获取了海量的大数据，由于存储和分析数据的需要研发了飞天系统等自主研发的大数据平台，大数据平台的出现增强了其大数据分析和处理能力，支持分析更为海量的数据，于是推出手机阿里操作系统，采集移动端大数据，对大数据进行分析和挖掘，发掘大数据价值，同时也巩固公司电子商务和互联网领域的强势地位，可以更好的获取大数据。政策建议和措施
      随着大数据时代的到来，中国已经开始意识到大数据所带来的发展机会，正在利用大数据低成本差异化的优势为各行各业创造生产力，为中国的经济带来新一轮增长。但是中国大数据产业发展目前还处于起步阶段，还面临着众多问题和挑战。以下从推动中国大数据产业发展的角度，提出相关政策建议和措施。总的思想是充分发挥市场机制的作用，政府从数据开放、制定法律法规、优化市场环境等角度进行调控。
      1．制定中国的大数据战略
      制定中国的大数据战略，系统推进中国大数据发展。国家主管部门要明确中国大数据发展的战略目标和战略重点，统筹谋划大数据应用、产业培育，数据开放与数据保护、市场监管、法律法规等关键布局；从大数据应用效果显著的社会公共服务和互联网商业应用入手开展大数据试点，鼓励和支持政府、企事业单位，经济实体真正地将大数据应用起来，将大数据成果投放出去，形成大数据良好的产业环境和循环生态，并引导地方大数据发展方向，避免再次形成“数据中心的虚热”。
      2．创新支持方式
      采用市场的机制，支持以企业为主题的创新，加快大数据共性和前瞻性的开源技术研发并以开源为项目考核指标，积极拥抱开源。国家发改委和科技部要有方向性的投入技术研发经费，加强大数据技术创新支持方向的前瞻性。同时，顺应互联网创新特点，创新科研项目支持方式，把握大数据技术开放创新的特点，在政府资助的科研与产业化项目中将开源和开放标准作为考核指标，通过直接补助或后补助方式激励企业和科研机构参与开源发展，促进大数据技术扩散。
      3．分类分批推动政府数据开放和企业数据交易
      国家主管部门要推进政府和公用事业领域数据资源的普查工作，界定数据权属，理顺利益机制。同时，按照相关法规制定政府和公共数据开放中的安全和隐私保护检查，对可能涉及国家安全和公民隐私的风险点进行严格控制。在此基础上，按敏感性对政府和公共数据进行分类，确定开放优先级，制定分步骤的开放路线图。适当时候，建议以上海和广州政府数据开放模式为参考，选择信息产业发达城市，建立政府开放数据的示范区。
      借鉴国外先进企业的数据开放经验。企业对数据开放和交易建议进行试点，按照相关法规制定政府和公共数据开放中的安全和隐私保护检查，对可能涉及国家安全和公民隐私的风险点进行严格控制。优先从互联网、电信和金融三个领域内进行数据开放和试点，探索中国式的大数据数据开放和交易之路。
      4．加强数据和个人隐私的保护
      出台数据存储安全保障标准，由相关部门对设备质量进行监管，确保大数据服务器的数据存储能力，避免因为数据服务器损坏带来的数据丢失现象出现；同时，提高硬盘故障预测技术，在故障发生前将数据进行转移。
      国家法律法规制定机构要结合国际立法理念的演变趋势，对中国相关制度进行调整。建议可行的途径是通过行业组织，及时总结业界的最佳实践，逐步形成行业共识，在试点成熟后上升为标准或法律法规，并通过行业自律和政府引导相结合的机制进行推广。
      对于跨境数据交易，要实行国家，企业和第三方，三方监督的模式，对跨境数据交易进行监督，切实保障国家安全。

来源：中国通信学会咨询部