风起云涌的大数据战场上，早已迎百花齐放繁荣盛景，各大企业加速跑向大数据时代。而我们作为大数据的践行者，在这个多智时代如何才能跟上大数据的潮流，把握住大数据的发展方向。
前言
大数据起源于2000年左右，也就是互联网高速发展阶段。经过几年的发展，到2008年Hadoop成为Apache顶级项目，迎来了大数据体系化的快速发展期，到如今Hadoop已不单单指一个软件，而成为了大数据生态体系的代名词。
自2014年以来，国内大数据企业层出不穷，可以用乱花渐欲迷人眼形容现状，也是在这一年，我国《政府工作报告》首次提出大数据，大数据作为一种新兴产业正式登陆中国舞台。之后，又上升至国家战略。自此大数据这三个字频繁出现在各大媒体上。
在大数据的发展历程中，互联网企业是布局较早且融合较深的行业之一。因其互联网属性的优势在大数据领域布局较早。
而提到国内互联网大数据企业，就不得不提国内互联网三巨头(百度、阿里、腾讯)，三巨头的大数据业务围绕其自身业务发展而成：百度重算法、阿里重电商、腾讯重社交，出于自身战略，三巨头在大数据领域的布局方面各有重心，反映出其企业发展方向的战略和思路。
BAT的大数据产业
BAT是我国互联网企业中大数据布局较早也是较具有竞争优势的公司。其中，阿里布局大数据产业最早，腾讯次之，百度则最晚。
阿里
阿里大数据发展战略在2008年提出，随后围绕电商业务，阿里在数据集群、数据仓库等方面做出了部署。
如今，提到阿里大数据，可以从两方面来作观察：一是以阿里电商业务基础建立起来的阿里数据;二是阿里云。
阿里数据以淘宝、天猫、阿里妈妈等平台为业务线，通过数据采集、数据计算、数据服务、数据应用等环节，形成从数据采集到数据应用的闭环系统
阿里云则主要以在线公共服务的方式，为用户提供云服务器、云数据库、云安全等云计算服以及大数据、人工智能服务、精准定制等基于场景的行业解决方案。创立于2009年，如今，阿里云已成为全球前三大公共云服务提供商。
另一方面阿里也是十分有远见的，早在15、16年开始做Flink，深耕布局、落地双11、孵化Blink，据称搞了上百人的团队，在国内外的技术会议上不断宣传推广，在2019年开年，阿里以9000万欧元收购了Apache Flink母公司Data ARtisans，将Flink收入囊中，目前，Flink可以称之为Apache基金会中最为活跃的项目之一，在GitHub上其访问量在Apache项目中位居前三。同时，在全球范围内，优步、网飞、微软和亚马逊等国际互联网公司也逐渐开始使用Apache Flink。
腾讯
2009年1月，腾讯搭建第一个Hadoop集群，标志着腾讯大数据之路正式开启。
与阿里不同，腾讯大数据主要围绕其社交、游戏业务展开。坐拥着海量的用户数据。
基于微信、QQ等社交工具，通过对移动用户的数据分析，建立用户个人画像提供相应的营销服务。
工具，工具主要有腾讯移动推送信息信鸽，同样也是围绕腾讯的社交用户数据开发而成，提供向用户推送消息的服务。
腾讯云，起步比阿里云晚几年，目前暂时落后于阿里云，但是云计算市场是一个马拉松赛，起步早是一方面，但最终还是要看谁能坚持到最后。
之前看过一篇资讯，中国IT领袖峰会在深圳举行，在一个对话环节。
李彦宏说：云计算这个东西不客气一点讲它是新瓶装旧酒，没有新东西。
马化腾说：”云计算让计算能力、处理能力甚至逻辑组件都能够像水和电一样使用，的确是有想象空间的，但可能你过几百年、一千年后才可能实现，现在还是确实过早了。”
马云大概意思：云计算这个东西应该好好做，今天就应该做，如果阿里巴巴不做云计算，腾讯、百度会把阿里巴巴赶出电子商务门口。
从对话中能看出马云的眼光很好。李彦宏和马化腾虽都是技术出身，但没有一个教师出身的马云眼光长远。
另一点，腾讯相比其他巨头在技术方面要低调不少。技术大牛很少出来做报告，更不会向百度、阿里那样主动包装宣传技术大牛。其技术虽然低调，但执行力很强。据腾讯的程序员朋友说封闭开发、集体加班是常有的事情。但配套的重金激励也能跟上。重金之下必有勇夫!
百度
BAT中，百度大数据战略提出时间最晚，但举措频频。
2013年，百度成立深度学习实验室(IDL)，发力人工智能。
2014年，百度对外宣布开放大数据引擎，以开放云、数据工厂和百度大脑三个为核心组件，
通过平台化和接口化的方式，对外开放其大数据存储、分析和智能化处理等核心能力。作为全球首个开放大数据引擎，百度大数据引擎已与政府、非政府组织、制造、医疗、金融、零售和教育等传统领域展开合作。
同年8月，百度与联合国宣布启动战略合作，共建大数据联合实验室 (bdl)，探索利用大数据解决全球
性问题的创新模式。
2017年3月2日，百度揭牌深度学习技术及应用国家工程实验室，国字号AI实验室落户百度。
可以看出，百度不同于阿里和腾讯基本以自身业务布局大数据，其大数据布局侧重于新方向，在人工智能上尤其突出。不过，梳理百度大数据的数据产品可以发现，其大数据产品涉及数据分析、数据风控、数据营销等，布局较广。
大数据领域分析
大数据技术发展到如今，已经形成了完备的体系结构及应用方向，技术迭代速度非常快，新框架层出不穷，大数据应用方向不断细化，从业人员越来越多。
大数据时代，数据量大，数据源异构多样，数据时效性等特征催生了大量的新技术需求。在这样的需求下，诞生了规模化并行处理(MPP)的分布式计算框架;面向海量的非结构化数据，出现了Hadoop、SpaRk等生态体系的分布式批处理框架;面对时效性及实时处理的需求，出现了Flink、SpaRk StReaMing等分布式流处理框架。
下图为Apache生态下的大数据框架：
未来在Apache中孵化成功的大数据框架会越来越多，大数据生态体系会越来越完善，也意味着大数据的门槛会越来越低，入行的人越来越多。所以为了我们不被时代所淘汰，需要不断学习，前期学习广度，后期专注深度。潜心一技，练到极致!
应用层面：
大数据在应用层面划分了以下几个大类：金融大数据、营销大数据、交通物流大数据、医疗大数据、教育大数据、文娱大数据等。
我们接下来以大数据科研及大数据企业两方面进行分析：
1. 大数据科研
自2012年大数据广泛实际应用以来，产业界和学术界在大数据技术与应用方面的研究创新不断取得突破，大数据领域的论文发表数量快速增长。
以下为2012-2020年全球大数据论文发表数量及各国占比：
数据来源：Web of Science，2020年10月
从上图可以看出，论文发表数量在2018年达到顶峰，是2012年的5.4倍，年增长率为32.5%，随后2019年论文数量开始下降，2020年全年数量预计较去年还会近一步下滑，这也说明随着科学研究的不断进展，大数据的相关理论体系逐渐成熟，未来学术论文发表增长速度或将放缓。
从国家来看，中国和美国仍然是大数据学术研究的核心地带。发表的论文数量遥遥领先于其他国家。未来在大数据领域，应该还是以中国和美国为首，带领大数据技术走向更高的水平。
再来看国内大数据产业的发展状况，根据工业和信息化部发布的数据显示，2019年我国以云计算、大数据技术为基础的平台类技术服务收入2.2万亿元，其中，典型云服务和大数据服务收入达3284亿元，提供服务的企业达2977家，由此可见，大数据产业发展日益壮大。
2. 大数据企业
大数据企业数量增长统计
数据来源：中国信息通信研究院，2020年10月
从上图可以看出国内大数据企业在2014年、2015年呈现爆发式增长，而在2016年后又有回落，这与大数据在我国的发展状况相对应。2014年被称为大数据元年，随后在国家政策的支持下，各大数据企业应运而生，之后随着创业者的冷静，大数据企业也趋于减少。
是否有国资背景
