数据现已成为曩昔几年中大部分职业的游戏规则，职业首领，学者和其他闻名的利益相关者都赞同这一点，跟着大数据持续渗透到我们的日常日子中，环绕大数据的炒作正在转向实际运用中的真实价值。

大数据现已成为曩昔几年中大部分职业的游戏规则，职业首领，学者和其他闻名的利益相关者都赞同这一点，跟着大数据持续渗透到我们的日常日子中，环绕大数据的炒作正在转向实际运用中的真实价值。

尽管了解大数据的价值依然是一个应战，但其他实践中的应战包含资金投入和出资回报率以及相关技能依然是大数据职业排名前列。Gartner查询显现，75％以上的公司正在出资或计划在未来两年出资大数据。

一般来说，大多数公司都希望有几个大数据项目，公司的首要方针是增强客户体会，但其他方针包含降低成本，更有针对性地进行营销，并使现有流程更有功率。近来，数据泄露也使安全性成为大数据项目需求处理的重要问题。

但是，更重要的是，当涉及到大数据时，你地点的方位是在哪里？你很可能会发现你处于以下几种状况之一：

想要弄清楚大数据中是否存在真实的价值

评估商场时机的规划

开发运用大数据的新效劳和产品

现已运用大数据处理计划从头定位现有的效劳和产品以运用大数据，或许现已运用大数据处理计划

考虑到这一点，了解大数据的全景及其在不同职业的运用，将有助于更好地了解你的人物和未来不同职业的发展。

在本文中，我将剖析运用大数据的10个笔直职业，这些职业面对的职业应战以及大数据怎么处理这些应战。我还将提到一些大型数据供给商在特定职业供给处理计划的事例。

1、银职业与证券业

职业详细的大数据应战

一项研讨对10个尖端出资和零售事务银行的16个项目进行了查询，成果显现：职业的应战包含：证券诈骗预警，超高频金融数据剖析，信用卡诈骗检测，审计盯梢归档，企业信用危险陈述，买卖可见度，客户数据变换，买卖的社会剖析，IT运营剖析和IT战略合规性剖析等。

大数据在银职业和证券业的运用

证券买卖委员会（SEC）正在运用大数据来监控金融商场活动。他们现在正在运用网络剖析和自然语言处理器来捕捉金融商场的非法买卖活动。

金融商场的零售商，大银行，对冲基金和其他所谓的“大男孩”运用大数据进行高频买卖，买卖前决议计划支撑剖析，心情丈量，猜测剖析等方面的买卖剖析。

该职业还严峻依靠大数据进行危险剖析，包含反洗钱，企业危险办理，“了解你的客户”和削减诈骗。

该职业特定的大数据供给商包含：1010data，Panopticon软件，Streamba se Systems，Nice Actimize和Quartet FS。

2、通讯，媒体和文娱

职业详细大数据应战

由于消费者希望有不同格局和各种设备的多媒体需求，通讯，媒体和文娱职业的一些重大数据应战包含：

搜集，剖析和运用消费者洞悉

运用移动和交际媒体内容

了解实时，媒体内容运用状况

大数据在通讯，媒体和文娱职业的运用

该职业的企业一起剖析客户数据以及行为数据，以创立详细的客户资料，可用于：

为不同的方针受众创立内容

根据需求引荐内容

衡量内容作用

一个比如是温布尔登网球锦标赛，运用大数据实时对电视，移动和网络用户观看网球比赛的详细心情剖析。

Spotify是按需音乐效劳，运用Hadoop大数据剖析，从全球数百万用户搜集数据，然后运用剖析的数据向个人用户供给个性化的音乐引荐。

亚马逊Prime经过在一站式商铺中供给，视频，音乐和Kindle书籍供给杰出的客户体会，也很多运用大数据。

这个职业的大数据供给商包含：Infochimps，Splunk，Pervasive Software和Visible Measures。

3、医疗保健供给方

职业特有的大数据应战

医疗保健部分取得了很多的数据，但一向没能运用数据来遏止医疗保健成本上升，进步医疗保健收益，进步体系功率。

这首要是由于电子数据缺少或不可用。别的，保存健康相关信息的医疗保健数据库很难与医疗范畴有用形式的数据链接起来。

其他与大数据相关的应战包含：将患者扫除在决议计划进程之外，以及运用来自不同途径的容易取得的传感器的数据。

大数据在医疗职业的运用

以色列贝斯的一些医院正在运用数百万患者从手机运用搜集的数据，让医师能够运用循证医学，而不是像传统医院一样，对患者进行医疗/实验室检测。有些测验是有用的，但大部分是贵重的而且通常是低效的。

佛罗里达大学运用免费公共卫生数据和Google地图创立视觉数据，能够更快速地辨认和有用剖析医疗信息，用于盯梢慢性病的传达。

奥巴马医保计划也以多种方式运用了很多数据。

该职业的大数据供给商包含：Recombinant Data，Humedica，Explorys和Cerner

4、教育

职业详细的大数据应战

从技能视点来看，教育职业面对的一个重大应战是将来自不同来历和供货商的大数据整合其间，并将其用于一个数据的渠道。

从实践的视点来看，教育从业者和组织有必要学习新的数据办理和剖析东西。

在技能方面，整合来自不同来历的数据，不同渠道和原本不相互合作的不同供货商都面对应战。

在政治上，与用于教育意图的大数据相关的隐私和个人数据维护问题是一个应战。

大数据在教育中的运用

大数据在高等教育中的运用相当明显。例如，塔斯马尼亚大学。一个具有26000多名学生的澳大利亚大学，布置了一个学习和办理体系，学生登录体系，体系追寻学生花费的时刻以及学生的全体进展等。

在教育中运用大数据的不同用例中，它也用于衡量教师教学的有用性，以确保学生和教师的杰出体会。教师的体现能够根据学生人数，学科人数，学生希望，行为分类和其他几个变量进行微谐和衡量。

在政府层面上，美国教育部的教育技能办公室正在运用大数据来开发剖析数据，以协助纠正选错在线课程的学生，点击形式也被用来检测学生学习时的无聊程度。

这个职业的大数据供给商包含：Knewton和Carnegie Learning和MyFit / Naviance。

5、制作业和自然资源开采业

职业详细应战

对石油，农产品，矿藏，天然气，金属等自然资源的需求日益添加，导致数据量的添加，复杂性和进步速度是一个应战。

相同，来自制作业的很多数据没有得到开发。这种信息的运用缺少阻止了产品质量进步，动力功率和可靠性的进步，以及更好的利润率。

大数据在制作和自然资源开采业中的运用

在自然资源职业，经过大数据能够运用地舆空间数据，图形数据，文本和时刻数据中吸取和整合很多数据树立猜测模型，协助做出决议计划，运用的范畴包含：地震解说和油藏表征。

大数据也被用于处理当今制作业所面对的应战，懿取得竞赛优势。

鄙人图中，德勤的一项研讨显现了现在运用的大数据的状况以及将来的预期的用于供给链功用的运用状况。

该职业的大数据供给商包含：CSC，Aspen Technology，Invensys和Pentaho。

6、政府

职业详细应战

在政府中，最大的应战是不同政府部分和隶属组织大数据的整合和互操作性。

大数据在政府中的运用

在公共效劳方面，大数据运用规模十分广泛，包含动力勘探，金融商场剖析，诈骗检测，健康相关研讨和环境维护。

一些更详细的比如如下：

大数据用于剖析社会保障局（SSA）供给的非结构化数据的很多社会残疾索赔。用于剖析快速有用地处理医疗信息，以加速决议计划速度，并检测可疑或诈骗性声明。

食物和药物办理局（FDA）正在运用很多数据来检测和研讨食物相关疾病和疾病的形式。然后做出更快的反响，供给更快的医治，削减逝世。

疆土安全部运用大数据分为几种不同的用例。大数据来自不同政府组织的剖析，以及用于维护国家安全的数据。

这个职业的大数据供给商包含：Digital Reasoning，Socrata和惠普。

7、保险业

职业详细应战

首要应战包含缺少个性化效劳，缺少个性化定价和缺少针对新细分商场和特定细分商场的有针对性的效劳。

在由Marketforce进行的查询中，保险业专业人士断定的应战包含数据缺少带来的利润损失，以及渴望更好的洞悉力。

大数据在保险职业的运用

业界现已在运用大数据，经过从交际媒体，支撑GPS的设备和监控录像中得到的数据剖析和猜测客户行为，为透明和简略的产品供给客户洞悉。大数据还能够维护公司更好的进步客户留存。

在索赔办理方面，大数据的猜测剖析已被用于供给更快的效劳，由于很多的数据能够在承保阶段进行特别剖析。诈骗检测也得到了加强。

经过数字途径和交际媒体的很多数据，索赔周期的索赔实时监控已被用于为保险公司供给见地。

该职业的大数据供给商包含：Sprint，高通，Octo Telematics，The Climate Corp。

8、零售和批发买卖

职业详细应战

从传统的实体零售商和批发商到现在的电子商务，职业现已搜集了很多的数据。来自客户会员卡，POS扫描仪，RFID等的这些数据并没有被用于全体上改善客户体会。所有改动和改善都相当缓慢。

大数据在零售和批发职业的运用

来自客户忠诚度数据，POS，商铺库存，本地人口统计数据的大数据将持续由零售和批发商铺搜集。

在纽约大展零售买卖大会上，像微软，思科和IBM这样的公司表明，零售职业需求运用大数据进行剖析和其他用处，包含：

经过购物形式，本地活动等数据优化职工装备

削减诈骗

及时剖析库存

交际媒体的运用也具有很大的潜在用处，而且将以缓慢的速度地被实体店选用。交际媒体用于客户探索，客户保存，产品推行等。

这个职业的大数据供给商包含：First Retail，First Insight，Fujitsu，Infor，Epicor和Vistex。

9、交通

职业详细应战

近来，来自基于方位的交际网络的很多数据和来自电信的高速数据影响了旅行行为。令人遗憾的是，了解旅行行为的研讨并没有如此敏捷。

在大多数地方，交通运送需求形式依然对交际媒体结构的了解缺少。

大数据在交通职业的运用

政府，私人组织和个人的一些大数据运用包含：

政府运用大数据：交通管制，道路规划，智能交通体系，拥堵办理（猜测交通状况）

私营部分在运送中运用大数据：收入办理，技能改善，物流和竞赛优势（经过整合出货量和优化货运）

个人运用大数据包含：道路规划节约燃料和时刻，旅行组织等。

该职业的大数据供给商包含：高通和Manhattan Associates。

10、动力和公用事业

职业详细应战

电网财物的60％将在十年内需求替换

全球风电装机容量同比增加12.4％

智能电表成为主流，而消费者要求更多的操控和了解动力耗费。

大数据在动力和公用事业职业的运用

智能电表读取器答应简直每15分钟搜集数据，而不是每天用旧的读表器搜集数据。这种细粒度数据被用于更好地剖析实用程序的耗费，这答应改善客户反应和更好地操控公用事业的运用。

在公用事业公司，运用大数据还能够供给更好的财物和人力资源办理，这对于辨认过错和在完结失败之前赶快进行纠正是有用的。

这个职业的大数据供给商包含：Alstom Siemens ABB和Cloudera。

什么是大数据？大数据就是指在一定时间范围内无法使用传统数据库工具对其进行捕捉、管理、计算、分析和处理的数据集合，大数据有以下四个特性：海量的数据规模（Volumn），数据类型繁多（Variety），数据流转速度极快（Velocity）以及价值密度较低（Value），我们就说说这四大特性。

海量的数据规模

我们接触最多最敏感的数据那就是我们手机所购买的流量，最常见的数据计量单位为K、M和G，他们的关系为1G=1024M，1M=1024KB。也许你也听过TB，1TB=1024G，这个数据单位对我们来世已经相当庞大了，我们的笔记本最大的容量也就在1TB这个级别，但是在大数据眼里最小的数据也得10TB起，比TB级还大的数据计量单位还有吗？有，而且还很多，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB......我们已经无法感知这么大的数据量了。截止到2011 年，互联网用户数已达到20 亿； RFID 标签在2005 年的保有量仅有13亿个，但是到2010 年这个数字超过了300 亿；2006 年资本市场的数据比2003 年增长了17.5倍；日前新浪微博上每天上传的微博数超过1 亿条；Facebook 每天处理10TB 的数据；世界气象中心积累了220TB 的Web 数据，9PB 其他类型数据……

极快的数据流转

数据具有一定的时效性，是不停的变化的，可以随时间数据量逐渐增大，也可在空间上不断移动变化的数据。如果我们采集到的数据不经过流转，最终会过期作废。客户的体验在分秒级别，海量的数据，带来的第一个问题就是大大延长了各类报表生成时间，我们能否在极端的时间内提取最有价值的信心呢？数据在1秒内得不到流转处理，就会给客户带来较差的使用体验，若我们的数据处理软件达不到“秒”处理，所带来的商业价值就会大打折扣。

价值密度低

尽管大数据的数据量巨大，但是有价值的信息极少，我们要通过分析才能将大数据从数据到价值的转变，这些工作量极其庞大，所以云计算是一个很好的解决途径。以监控视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

数据种类繁多

数据的格式是多样化的，如文字、图片、视频、音频、地理位置信息等，也可以是不同的数据类别，也可以有不容的来源，如传感器、互联网。首先用户是一个复杂的个体，单一的行为数据是不足以描述用户的各种行为，多元化的信息采集处理就像拼图一样，逐渐勾勒出我们身体的骨架，增添上我们的血肉。我们在淘宝、京东购物时，总会在下面的推荐区推荐我们想要的东西，比如我们去频繁的搜索浏览某件商品，这是他们就会采集我们浏览的数据，从中挖去有价值的信息，推送给我们。所以说这样的模式给一种体验，那就是这些app越来越懂我们的爱好和需求。

大数据未来会渗透在很多领域，大数据与云计算，机器学习与人工智能，物联网，区块链等。

｜作者：希小婧&南七道 编辑：南七道

“这两年在大数据领域，纯粹讲概念没有技术的公司都死完了。融资过很多的钱的企业虽然还存活着，但大多过的也很难受。”一位大数据领域的资深创业者，对创界网(ID:ChuangDaily)说出了整个业内的真实现状。

从2016年开始，就有人喊大数据的寒冬来了，但依然有很多资本进入大数据这个领域。到2017年《网络安全法》实施，曾经被称为大数据天堂的野蛮生长时代结束，行业进入调整期。进入2018年，洗牌持续加剧，凛冬真正来临了。

大数据公司的寒冬真的来了

在当下，大数据领域的公司基本是三分天下：BAT华为等巨头系、TalkingData华云数据Dataeye等创业系、和电信、移动、联通等国有系。

2013年到2016年，是大数据相关公司的春天，在这几年，创业公司很容易拿到融资，从几百万到数亿不等，有业内人调侃说：“行业风口期，只要在电脑上打开一个Excel表格就敢说自己是大数据公司，就有可能融到资。”不完全统计，仅在2017年的上半年，就有63家大数据创业公司获得了融资，总融资超过68亿人民币。其中获得上亿元融资的企业有17家。更有人乐观估计，在2020年，整个产业会超过13000亿。

从2016年下半年开始，大数据行业的公司数量就开始逐渐压缩和减少，其中D轮融资超过4亿的百分点等公司开始大幅裁员，据说将超过600人的团队压缩到了300以内。2017新年刚过，亚信数据同样步入调整步伐，负责新领域探索的部门全部砍掉，据说还会有第二轮裁员。

除此之外，大数据公司在融资方面也遭遇难题，除了极个别的头部公司获得了大数额的投资，例如百融金服在今年4月完成了由中国国新基金领投，老股东红杉资本中国基金增持的10亿元人民币的C轮融资外，其他大多数的公司特别是初创团队获得融资的非常少，也有不少公司的融资记录还停留在前几年，比如集奥聚合的融资还停在2014年的B轮。

上海某基金的合伙人对创界网(ID:ChuangDaily)说，他们基金在14-15年投资了12个大数据项目，到了16年投资了4个，17年1个，18年完全停止了投资。主要是观望。而在投资的17各项目中，已经倒闭的有5个，占近30%。转型的有7个，剩下的5个，还在继续熬着。“几乎全军覆没。”说完之后他长叹了一口气。

国内大数据细分领域的头部公司Dataeye创始人汪祥斌指出，即使是估值很高的一些头部项目，现在大多日子也不好过。行业现在最主要的就是谋求商业变现。根据爱分析发布的《2018中国大数据行业报告》显示，我国多家金融、政务大数据公司收入突破亿元大关，看上去一片繁华。但是由于大数据的基础建设需要长期投入，能做到收支平衡已经是不错的情况。少部分公司如Dataeye另辟蹊径，探索海外，已经实现了初步盈利。

还有部分的大数据公司，继续流血融资。多位从业者表示，由于之前概念炒的太火导致现在的大数据公司估值太高、项目太贵，目前整个行业都面临溢价过高这一问题。据说某一头部大数据公司在最新一轮融资中，上市的互联网巨头投资方觉得估值太高，直接打了对折，虽然最后还是融资了，但已经无心对外公布融资金额。

实际上到目前为止大数据领域，没有真正形成规模化变现或者利润很高的公司，面对如今热潮的褪去，当初给投资人开出的溢价无法兑现，后续融资压力很大。即使有收入，在行业营收较好的大数据金融还有政务公司，都面临回款这一硬伤。某大数据公司，和一银行签了一笔100万订单，三年过去了，还有一半的款没有结算。

大数据行业靠着概念就能拿到钱的风光早已一去不复返了，现在的大数据行业面临不可逆转的生死劫。

为什么大数据行业如此萧条？

大数据野蛮生长的时代已经结束，面对行业现在的艰难，追根溯源，是因为行业建设周期长、缺乏底层核心的技术、萎靡的经济大环境等综合原因造成的。

核心的大数据底层技术缺失

即使经过6年发展，我们依然缺乏大数据的核心技术。Dataeye创始人汪祥斌对创界网(ID:ChuangDaily)说，国内所有标榜做大数据的公司，用的基本上都是美国的hadoop底层核心技术，一旦全部切断，那么国内没有一家数据公司能存活下来。

据悉，目前有关大数据底层的核心模块全部来自于美国公司，包括腾讯、阿里在内的所有公司都在用它提供的技术。包括分布式的数据库在内，国内公司在这方面几乎没有原创技术，只有阿里逐渐在大数据开源社区贡献了一些技术。

国内的大数据公司，目前更多是在应用层面进行创造。这是当下国内互联网创业者最擅长的，能短期见效的、变现的应用层面的东西，比如说做数据统计、分析、挖掘等应用层面的技术。这是中国创业者在大数据行业的优势和强项。由于底层技术的缺失，根基不牢，一旦整个行业发展遭遇动荡，产业链上的创业者可能都会被波及，很难长远发展。

数据大而不精的尴尬现状

以广告投放为例，外界都以为大数据公司掌握大量数据，可以做到精准投放来增强产品购买率，在理论上来说没错，但其实只是一个理想状态。实际情况下，一个人的消费是由诸多维度的信息共同组成的。要实现信息采集、画像分析、用户推送、交易转化，需要掌握各种大量信息数据，然后在恰当的时间地点把东西推给合适的用户。比如一个喜欢浏览汽车的用户，如果在他面试或者开会的时间进行推送，很有可能就达不到传播目的，更不用谈转化。

实际上，国内每家数据公司其实都是一个数据孤岛，拥有的只是一个很片面的数据，并非一个全景化数据。虽然每家数据公司都标榜自己是全景化数据，但实际上并非如此。在大数据整个行业里，即使是腾讯这样的巨头也不敢说它的数据是全景化的。

行业建设周期长短期难获利

在国内，投资人普遍有一个通病，就是不能接受长线投资，这点在大数据领域体现的特别明显，很多投资人入局都是抱着一年翻倍、三年推出、四年上市这种心思来的，自然导致了大数据领域早前的概念成风、虚火旺盛现象。用资本的热度和周期去考核大数据行业的变现时间，本身就是一个错误。在大数据行业，数据积累和开发是有一定周期的，只有积累到一定数量，才有可能变现，但这没法一蹴而就。行业的发展是需要足够成长周期的，需要时间的积累和足够的耐心。

因为投资急躁，加上部分大数据领域创业公司的急于变现，甚至是投机取巧，企业当然无法安心扎根于技术，行业自然乱象丛生，加上《网络安全法》等数据法律健全，必然造成了一批大数据公司被淘汰。

经济下行投资环境日益艰难

进入到18年，由于经济大环境越来越不乐观，连巨头腾讯的股票都暴跌40%，很多基金连完成新的一轮募资都很困难，自身难保。剩下有钱的基金更加趋于谨慎。作为需要长期投资的大数据领域，融资更是越来越难。2018年以来，有关大数据公司融资的消息几乎是凤毛麟角。现在几乎到了“闻大数据色变”的地步，在投资人眼中已把大数据与“忽悠”、“骗子”一词挂钩。如此严峻的形势，估计还会持续2-3年。

出身腾讯系的创业者，Dataeye创始人汪祥斌称，他们早在3年前，就对行业的变化有了判断。早已经向日韩等国家开拓业务，和本土企业在当地成立公司，而这些企业都是在业内深耕了20年左右。同时公司也正在孵化AI团队，进一步开发一些核心算法，让产品适应更多的国家和地区。接下来，他们还会做基础的数据技术，相关的一些开放式的数据挖掘、封闭式的数据挖掘等。由于布局及时，避开了国内行业的红海，Dataeye预计会在今年实现更高的利润。

海外大数据市场逆势发展

与国内大数据公司面临困境的状况完全相反的是，海外的大数据行业正处在行业高速发展的两极状态。除了中国团队和企业走往海外。欧美等本土大数据公司开始批量上市。根据美国2016年大数据全景图，可以看到美国目前众多大数据相关公司和团队，行业非常细分，并且整个生态链都很健全。

在当下，国内的部分投资机构想投拥有核心基础技术的大数据公司，都会去硅谷，而国内优秀的大数据人才也向硅谷流失，因为那里更适合行业和个人发展。

与国内资本寒冬形成对比的是，在美国市场上，今年有大量美国大数据公司成功IPO。包括SurveyMonkey、Domo、Dropbox、DocuSign和ZScaler等多家公司。刚过去的10月6日，美国的一家大数据公司Elasticsearch$(ESTC)$也在美股成功上市，它是一家做数据搜索的公司，刚开始只是一个开源社区，然后慢慢变成一个成功的商业公司。上市当日股价直线拉升，最高点涨幅达122%。

《权力的游戏》里，主角们提及最多的就是“凛冬将至”，大数据正在经历前所未有的寒冬。但正如2000年左右互联网泡沫爆炸之后，走出了阿里谷歌一样，包括大数据行业也必然经历这个发展周期。历经渡劫的大数据行业，才能像社交、电商行业那样，成长出真正的独角兽。

AI 前线导读：你可能经常听到这样的说法：数据科学家是 21 世纪最性感的工作，干这行有赚不完的钱、这行里有很多经验丰富的人才，似乎一切都表明这是一份理想的工作。又或许你也曾听过：数据科学家是当下科技行业最火爆的职位。本人转载自 AI前线小组但实际上，想成为数据科学家的人很多，最后真的能成为数据科学家的人却不多。这个岗位看上去既神秘又高大上，还有那么一点遥不可及，很多数据科学爱好者发现，照理说数据科学这么热门的岗位应该有不少空缺，但找到一份工作却相当困难。一位外国网友在 Quora 上提了这样一个问题：数据科学既然如此热门，为什么找工作还是困难重重？AI 前线翻译了其中几个精彩回答，与大家共同探讨，也欢迎留言分享你的思考。

大多数人都没有足够的能力成为合格的数据科学家

回答者：Riya Dubey，数据科学家 回答于 2018 年 10 月 24 日

谢邀，我的答案可能会伤害那些胸怀抱负的数据科学家们的感受。不过我还是得实话实说——大多数有志者都没有足够的能力成为合格的数据科学家。请不要误解我的意思，但 大多数希望成为数据科学家的朋友都不具备足够的技能储备。

虽然市场对于数据科学家确实有着巨大的需求，但大多数人的技能都太烂了（请原谅，我就是这么坦率）。

并不是企业不想雇用新人担任数据科学家这类角色。事实上，不只是应届毕业生，就算是企业通过社招吸纳的数据科学家们也未必能够顺利完成任务。数据科学是一类极具挑战性的工作，要求敏锐的分析能力、强大的数字能力以及卓越的商业理解能力。即使我们立刻着手学习这些技能，要达到游刃有余仍然需要耗费漫长的周期。简单地总结，单凭在大学里的教育背景不足以支撑大家完成相关工作。

而以上提到的，还只是数据科学所提出的最低技能要求。从行业角度来看，迈入数据科学领域还需要其它多种技能。下面来看其中的一些主要项目：

对于统计及统计学技术几乎无可挑剔的认知与理解。你需要对推理统计数据拥有良好的控制能力。良好的 R 与 Python 编程能力。这两种是目前大家最需要了解的高人气数据科学语言。数据可视化技能，包括对 Tableau 以及 Qlikview 等工具的熟练掌握。预测建模能力，意味着你需要了解各类机器学习算法。现在，着眼于上述技能，大家会意识到其涵盖范围极广，甚至足以彻底将我们吞没。更具体地讲，要精通这些技能需要相当长的时间——更遑论很多人穷尽一生可能也无法掌握。

很少有企业会雇用应届毕业生出任数据科学职位，但在接受企业培训并拥有 6 到 12 个月的工作经验之后，他们会逐步赢得数据科学家头衔。Mu Sigma、LatentView Analytics 以及 Absolute data 等就是这类开放性企业的典型代表。然而，必须承认，鲜有公司愿意提供这样的机会。

需要考量的另一大重要因素在于，大多数希望出任数据科学家的年轻人都就读于 IIT/NIT 以及 BITS Pilani 等顶尖高校。企业意识到，这类大学的毕业生技术能力出众，学习速度快且能够轻松完成训练。因此，企业更倾向于选择这些高校的学生。在入职之后，这些学生会自行学习其它技术性技能，或者接受企业内部提供的培训。

然而，对于其他一些毕业生来讲，以上只是一种不切实际的幻想。因此，要进入数据科学领域，你只能全程自学。

目前存在众多面向数据科学方向的平台，你可以在其中学习数据科学领域的各类技能。Data camp、Data Science、Coursera、edX 以及 Udemy 等都能够为你提供理想的技能积累环境。

除了上述平台之外，大家还应该尝试 Kaggle 以及 KDnuggets 等，这些是通过数据科学项目磨练水平的好去处。事实上，这些平台甚至更为重要。正如我之前所提到，数据科学极具挑战性，因此除了真正投身于实际项目之外，大家根本不可能真正加以掌握。

因此，在大家通过上述平台学习时，请确保同时参与具体项目以实现理论与实践的结合。此外，大家还需要利用这些项目展示自己的实际工作能力。在数据科学领域，我们参与的项目以及借此做出的有价值的贡献才是对技能的真正考验。对于新手而言，数据清洁往往最为重要。而如果你才刚刚起步，那么参与项目绝对是个良好的选择。当然，你所选择的项目，最好涉及一切作为数据科学家所需要的技能方向。

总体来讲，作为一位胸怀大志的数据科学家，如果你希望找到理想的工作，请遵循以下方法：

学习数据科学领域的必要技能。开展项目工作，借此建立自己的技能组合并磨练技术水平。赢得数据科学职位。今年春季，我和我的未婚夫买了辆新车。买车当然不是件小事，原本我们也根本没打算买，但这辆车一下子抓住了我们的心。我们也考虑了其它一些车型，并且进行了全面的试乘试驾体验。

我们对于自己的需求有着非常明确的认知，但最终促使我们下定决心的，还是这款产品的出色性价比。

与汽车类似，数据科学家同样成本高昂。身为客户，企业雇主当然希望找到那些最能满足自身需求的目标。

你认为哪些因素决定着他们的招聘意愿？

想象一下，对于典型的数据科学职位，候选人的分布可能如下所示，其中 x 轴代表“符合要求”的情况，或者说人才自身吸引力的直观指标：

备注: 上图完全基于我的假设，与实际数据无关。

另外需要注意的是：

每一家企业都希望获得标注为绿色的候选人。标注为绿色的候选人希望选择最出色的企业。标注为蓝色的候选人愿意就职于任何企业。标注为红色的候选人根本搞不清楚自己的求职需求。像我们普通人一样，企业也有预算额度，而且不愿意接受存在风险的支出。标注为绿色的候选人最为安全，标注为蓝色的候选人由于缺乏经验而代表存在风险，而标注为红色的候选人则直接被排除在外。

那么，作为客户，你认为企业会做何选择？

如果我们能够购买一台全新的微软 Surface 笔记本，或者是选择一款号称具有同等配置且几乎同等价位的“即将推出”的新产品，你会如何决定？

毫无疑问，市场对于标注为绿色的候选人拥有最迫切的需求。每一家企业都希望选择这类人才，而鲜有企业愿意选择标注为蓝色的候选人并承担相关风险。

总而言之，每一家企业都希望选择“最具性价比”的目标。

数据科学家职位对技能在深度与广度层面的要求远远超出大多数人的认知。

由于大多数现实世界中的数据科学任务，具体体现为机器学习，而机器学习属于一类硬核编程工作。

如果你无法使用 Python 语言编程，那么你根本得不到这份工作。事实就是如此。

因为你无法完成数据清洁工作，因此没人在乎你能多么高效地从 GitHub 上复制现成代码。

因为 SQL 远比建模更重要，而新手们根本就不明白这背后的原因所在。我们不再关注那些 SQL 实际使用经验不足两年的候选人。事实上，学习建模要比学习关系数据库理论简单得多。

数据处理是一项极为艰深的工作。

因此如果我是一家企业的老板，而且我愿意拿出 15 万美元以上雇用一名员工，那这家伙最好能够充分满足我提出的技能需求。

在接触这一领域五年之后，我还没见过任何真正的初级数据科学家——这里只存在初级机器学习工程师，而且他们大多是由编程或者数据相关岗位转型而来。

数据科学岗位候选人的增长速度远超过就业机会的增长速度

原因在于数据科学岗位的候选人正呈现出指数级增长，而就业机会虽然同样增长极快，但却不足以抵消新生人才数量。这在一定程度上类似于博士生的全面爆发，其直接导致博士学历的市场竞争力快速削弱。有人可能会想：为什么还会有那么多人愿意读博？几年下来，市场对于人才的要求可能已经发生剧变了呀。没错，我认为这个问题的答案在一定程度上与数据科学家问题存在相似之处：

四年之前，当企业找不到任何真正合格的数据科学家时，这些企业在学术界与 Data camps 的帮助下，刻意营造出了人才极度匮乏的整体印象。这使得市场呈现出一种类似庞氏骗局的形势，如今许多所谓的数据科学家并没有真正的一线工作可做，而只能转向为那些有意成为数据科学家的年轻人提供教学服务。 对于博士生来说情况同样如此：很多人开始靠帮其他人当论文枪手来赚钱。与此同时，企业也开始以越来越谨慎的态度审视那些自称为“数据科学家”的候选人的实际价值。与大多数博士生一样，特别是那些拿不出什么原创性研究成果的新人，他们的学位价值开始大幅下降。必要承认的是，时至今日，来自顶尖大学的毕业生仍然能够比较轻松地找到一份理想的工作——这一点同样适用于数据科学家群体。只接受过短期培训的人们将很难找到工作。 然而，像地理学家、工程师或者拥有丰富专业数据经验的物理学家这样的群体，虽然可能没有接受过正式的数据科学培训，但却仍然能够更轻松地拿到数据科学家的 offer（虽然具体职称可能略有不同）。与许多应届毕业生一样，他们的职业经历就如同实习经历一样能够为其提供有力的积累与证明。目前有很多人自称为数据科学家，但他们的实际水平最多只能算“数据科学爱好者”。 由于缺少实践经验，他们很难找到合适的工作。当企业进行校招并与应届毕业生交谈时，年轻人们往往能够比较轻松地得到实习岗位。这种方式在效率上远高于通过互联网进行简历盲投。 或者，当你看到 Facebook 公司发布的数据科学工程师招募广告时，你也可以想办法与其互动并发布一些有水平的评论，而非坐等人力部门与自己联系。事实上，如今简历已经变得非常过时，有可能再过一段时间就会彻底消失在历史舞台之上， 至少我认为是如此。为什么不在 GitHub 上（或者其它重要网站上）发布一些贡献呢——只要项目或内容质量足够好，广受好评并得到采用，我们总有办法向企业证明自己的价值。约有 90% 的朋友希望通过领英与我联系，但我往往会直接拒绝，因为他们与数据科学毫无交集。与大家一样，我只能与 3 万个人建立关联，因此我得精心安排这些名额。企业的情况是差不多的，他们需要考虑自己的预算水平。根据你的实际定位与工资预期，就职情况可能比我之前提到的略好或者更差。某些数据科学家（通常负责管理大型团队）能够在美国或者其它一些国家拿到超过 25 万美元的年薪，而也有一些数据科学家能够管理自己的公司并获得超过 50 万美元的年收入——这些都属于合理范围。但如果你无法达到基准水平（即能够产出实际价值）的要求，那么你的收入将与前者天差地别。

如果您对传统企业互联网转型、大数据、工业4.0等内容的文章、资料、PPT等感兴趣（有提供下载哦~），欢迎关注强企阅闻公众号。

来源／钱塘大数据

在这个用数据说话的时代，能够打动人的往往是用数据说话的理性分析，无论是对于混迹职场的小年轻，还是需要数据进行分析和研究的同学，能够找到合适的数据源都是非常重要的。特别是想要对一个新的领域进行研究和探索，拥有这个领域的数据那都是有十分重要的意义的。

1.－ 国家数据 －

http://data.stats.gov/index.htm

数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可视化读物。

2.－ CEIC －

http://ceicdata/zh-hans

最完整的一套超过128个国家的经济数据，能够精确查找GDP, CPI, 进口，出口，外资直接投资，零售，销售，以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。

3.－ wind（万得）－

http://wind/

万得被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。

4.－ 搜数网 －

http://soshoo/

已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。

5.－ 中国统计信息网 －

http://tjcn.org/

国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

6.－ 亚马逊aws －

http://aws.amazon/cn/datasets/?nc1=h_ls

来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。

7.－ figshare －

https://figshare/

研究成果共享平台，在这里你会发现来自世界的大牛们的研究成果分享，同时get其中的研究数据，内容很有启发性，网站颇具设计感。

8.－ github －

https://github/caesar0301/awesome-public-datasets

如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。

随便上几个图，满满的都是资源啊

免责声明:本公众号所载文章为本公众号原创或根据网络搜集编辑整理，文章版权归原作者所有。如涉及作品内容、版权和其他问题，请与我们联系！ 文章内容为作者独立观点 ，并不代表兮易强企赞同或支持其观点。

什么是大数据？

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

大数据有何作用？

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

了解了大数据的概念和作用，我们先来看一下商业巨头们如何利用大数据吧。

一、谷歌公司（google Inc）

第一个 ：ReCAPTCHA案例。

这个虽然是被谷歌收购的，但是，具有典型的谷歌思维。为了解决垃圾邮件和网络机器人的问题，冯.安发明了验证码的解决方案。如果只限于此，也就没有特别可以称道的，但是他意识到每天有这么多人要浪费10秒钟的时间输入这堆恼人的字母，而随后大量的信息被随意地丢弃时，他开始寻找能使人的计算能力得到更有效利用的方法。 他想到了一个继任者，恰如其分地将其命名为ReCaptcha。和原有随机字母输入不同，人们需要从计算机光学字符识别程序无法识别的文本扫描项目中读出两个单词并输入。其中一个单词其他用户也识别过，从而可以从该用户的输入中判断注册者是人;另一个单词则是有待辨识和解疑的新词。为了保证准确度，系统会将同一个模糊单词发给五个不同的人，直到他们都输入正确后才确定这个单词是对的。在这里，数据的主要用途是证明用户是人，但它也有第二个目的：破译数字化文本中不清楚的单词。ReCaptcha的作用得到了认可，2009年谷歌收购了冯·安的公司，并将这一技术用于图书扫描项目，再后来，谷歌街景也开始使用这项技术。把验证码和OCR需求巧妙结合起来，这展示了思维的威力，实现了ReCaptcha技术提供者和使用者的双赢，技术提供者利用OCR识别获得了自己的受益，使用者不需要任何付费(互联网免费思维)，也愿意使用，对于用户其实也没有影响，没有增加额外的工作。上研究生的时候，就研究OCR汉字识别问题，识别率始终是个问题，对于手写就更低了，要花费大量人力来解决，并且，人工识别工作是非常无聊，没有办法来保障质量。再想起12306的验证码，更令人无语了。我们浪费了多少资源?我们有多少资源可用充分来利用?

第二个：拼写检查纠错的案例。

我们都经常使用微软的Word，其中就有拼写检查纠错功能，微软实现这个功能，采用的是传统的软件思维，也就是利用规则和词库来解决，这个需要不断耗费人力进行规则和词库的升级，对于不同的语言，耗费更是巨大。谷歌解决这个方法，用的相对巧妙，在搜索的时候，当你输入一个错误的词时，会给一个提示，要找的是不是建议的词，如果用户确认后，谷歌就进行记录处理，后面，再经过一些算法处理，经过大量的数据学习，各个拼写检查纠错就越来越好，并且，这个后续维护成本很低， 效果越来越好。其实，谷歌翻译也使用了类似的思路，虽然前期算法，包括大数据处理花费了比较多，后续，基本实现了自动化，系统会越来越强，维护升级成本很低，项目就变成可持续发展。

第三个：对流感的预测

2009年，一种新型的流感病毒h1n1在全球迅速传播开来。美国，和世界上所有的国家一样，要求医生们发现案例市告知疾病控制与预防中心。但是，人们并不是在第一时间去医院检查，而是会有一段时间的延迟，消息要传达到疾控中心也要时间，从而造成一定的滞后性。

在该病毒爆发的几周前，谷歌公司的工程师们在《自然》杂志上发表了一篇论文。文中解释了谷歌为什么能够预测冬季流感的传播：不仅是全美范围内，而且具体到特定的地区和州。

谷歌如何做到的呢？数据。

谷歌通过观察人们在网上的搜索记录来完成这个预测，谷歌保存了多年来所有的搜索记录，每天都会超过30亿条的搜索指令。如此庞大的数据资源才能支撑谷歌完成这项工作。

二、facebook。

Facebook（脸书）是美国的一个社交网络服务网站 ，创立于2004年2月4日，总部位于美国加利福尼亚州帕拉阿图，2012年3月6日发布Windows版桌面聊天软件Facebook Messenger ，主要创始人马克·扎克伯格。它是世界排名领先的照片分享站点，截至2013年11月每天上传约3.5亿张照片、截至2012年5月，拥有约9亿用户。Facebook的总部设在硅谷的门洛帕克（Menlo Park）——1 Hacker Way 从2006年9月11日起，任何用户输入有效电子邮件地址和自己的年龄段，即可加入。在2015年8月28日，单日用户数突破10亿。

fancebook，拥有这庞大数据，同时它也不会浪费这些数据。Facebook通过用户社交网络图得知人们的喜好、

说完了，我们转过头看一下我们国内。

大数据现今在国内也是蓬勃发展，让我让数据说话！

大数据企业发展态势

态势一：2017年，我国大数据企业依旧整体呈现“金字塔”状的实力分布，从金字塔上层来看，我国大数据企业发展指数高于50的企业数量占比仅为7.4%，与去年相比，中高区间的龙头企业发展指数均有不同程度的提升，体现出“强者恒强”的发展势头。2017年，随着新晋企业数量增多、初创企业发展活力不断提升，金字塔根基更趋稳固；专精特新的独角兽企业发展势头迅猛，成为我国大数据企业发展的中坚力量。

态势二：2017年，我国大数据企业基础画像指数呈现较为明显的三重集团趋势，可以分为领军企业（数量占比9.23%，指数跨度从62.50到10.46）、中坚企业（数量占比29.49%，指数跨度从9.89到1.00）、上升企业（数量占比为50.16%，指数跨度从0.98到0.001）三类企业。从构成占比上看，2017年，我国大数据领军企业占比基本维持不变，而中坚企业占比显著增加，上升企业比例对比2016年有较为明显的减少。

态势三：2017年，我国大数据企业技术研发指数呈现“龙头领先、中小微主体跟进”总体趋势，技术研发指数超过10的龙头企业数量占比为9.85%，低于10的企业占比达到90.15%。大数据企业技术研发指数平均值为4.06，同比2016增长了3.18%，其中，以华为、中兴等通信企业和BAT等互联网企业为代表的TOP20龙头企业的技术研发指数同比2016年增长了5.73%。

态势四：2017年，我国大数据企业市场拓展指数呈现出“龙头带动、全面壮大”的分布格局，我国大数据企业市场拓展指数小于30的企业数量占到92.88%，指数超过30的大数据企业占比为7.12%。与2016年相比，龙头企业依旧强势引领大数据市场，中间企业及长尾企业亦积极拓展市场版图，行业整体呈稳步发展态势。

态势五：2017年，大数据企业尤其是骨干企业发展集聚态势进一步强化，绝大多数企业集聚在北京、天津、山东、江苏、浙江、上海、广东、福建等东部沿海信息技术产业基础较好的省市。与2016年相比，东北、中西部等重点城市，以及乌鲁木齐、呼和浩特等地的大数据企业集聚化趋势日益明显。

态势六：2017年，我国产业环节大数据企业聚焦数据采集、数据存储、数据预处理、数据分析、数据可视化、数据流通，跨度从19.48到6.87，发展指数相对比较均衡，数据分析环节企业发展指数水平相对突出，发展指数达到19.48，数据大数据分析挖掘环节必将涌现出更多的独角兽企业。与2016年相比，大数据分析环节指数增长3.8，其他环节指数均有不同程度下降。

态势七：2017年，我国重点行业大数据产业企业聚焦政务、工业、健康医疗、交通、农业、金融、教育、能源等17个行业领域，企业平均发展指数为23.36，最高的安防大数据企业发展指数达到35.71，最低的能源大数据企业发展指数为16.89。与2016年相比，主要行业大数据企业平均发展指数同比增加了0.25，大多数行业发展指数都稳中有进，除安防领域初步定型，同比2016年降低了4.01，其他重点行业领域指数均有不同程度上升。

态势八：2017年，我国特色细分领域大数据企业主要分为三大阵营，与2016年相比，三大阵容的特色细分领域发生了明显变化。一是从事人工智能相关的龙头企业处于第一阵营，平均发展指数维持在21左右；二是从事工控安全、数据库、区块链、征信分析、商业智能BI、数据中心IDC、数据营销、基因测序等10类细分领域大数据相关业务的龙头企业处于第二阵营，平均发展指数处于13.97到17.78之间；三是以虚拟现实、开源技术和车联网为代表的第三阵营，整体发展指数相对略低，处于12左右。

进过调研分析，我们可以作出预判

2018年我国大数据产业发展的主要趋势有：

1、产业将持续保持快速增长态势。预计2018年我国大数据核心产业规模将突破5700亿元。

2、融合渗透效应向更深层次延伸。延伸方向既包括经济运行、社会生活等应用领域，也包括物联网、人工智能等关联技术。

3、制造业数字转型作用日益凸显。以大数据驱动制造业数字化转型的新模式、新业态将不断涌现。

4、技术创新仍是产业发展主基调。大数据领域核心关键技术将加速突破，跨学科、跨领域交叉融合技术研究将成为发展重点。

5、产业集聚特色化发展态势逐步显现。国家大数据综合试验区建设的不断深入，一批省级大数据产业集聚区将进一步优化资源配置、形成集聚效应、发挥辐射带动作用。

6、产业生态体系迈入成熟完善阶段。大数据相关政策将加快落地实施，更多创新性政策将加快出台，大数据产业发展环境将进一步优化。

区域大数据产业发展态势：

态势一：2017年，国家大数据综合试验区依然引领产业发展，其所在区域的大数据产业发展总指数在全国大数据产业发展总指数的占比达37.54%。试验区内各省市指数较去年增幅均值为6.23，高于全国增幅均值的5.78，大数据产业发展速度高于全国平均水平。

态势二：2017年，大数据产业集聚发展效应进一步凸显，长三角地区、珠三角地区、中西部地区和东北地区大数据产业集聚发展格局基本形成。

态势三：2017年，北京、江苏、广东、浙江、上海等五省市成为大数据产业发展第一梯队，其大数据发展总指数在全国大数据发展总指数的占比高达26.52%，领先的优势地位明显。浙江省大数据产业发展指数较去年增长12.71，成为全国大数据产业发展指数增幅最高城市。

态势四：2017年，我国东部、西部、中部、东北四个分区产业发展差异化明显。东部地区整体发展水平最高，大数据产业发展指数增幅均值为7.39，远超全国平均水平5.78，天津、河北、海南排名上升；西部地区未来仍有巨大发展空间，重庆大数据产业发展指数较去年增长10.12，增幅仅次于浙江省位列全国第二，宁夏、内蒙古二地成后起之秀；中部地区整体发展速度高于西部和东北，山西发力大数据产业，排名明显提升。东北地区辽宁继续蝉联区域榜首，辐射带动作用逐步凸显。

态势五：2017年，各省市大数据产业发展环境均呈现向好态势，各省市的发展环境平均指数为10.9，较去年提高32.9%，18个省市的发展环境指数高于平均值，占比达到58%，而发展环境指数在去年平均值以上的省市高达30个；同时，江苏、重庆、安徽等地由于组织机制进一步完善、区域信息化水平加速提升等因素影响，较去年排名增速明显。

态势六：2017年，全国各省市大数据产业发展水平均有提升，大数据产业发展总指数为363.9，较去年提升16.8%；

但受数据集聚开放水平、大数据产业规模、大数据企业主体等多种因素共同影响，各省...

导语：很难预测未来三个月或三年内数据分析可能会发生什么，更不用说从现在开始的十年或两年。但是，让我们大胆一点，抓住未来主义，试着看看以数据为中心的创新将带给我们什么方向，以及它如何在未来几十年推动企业和其他组织。

最终，无论数量多少，我们都会再次将数据再次称为数据。虽然很明显数据集将继续增长，但我们很快就会厌倦 - 如果我们还没有 - 将这些集合称为“大”。这是因为我们将不再被数据本身的大小集中，痴迷或淹没，而是将我们的注意力转移到数据提供的机会上。换句话说，焦点应该很快开始从基础设施挑战转向ROI挑战，例如寻找数据中的价值，隐藏的秘密，最终学习如何利用洞察力来创造价值。

随着处理速度的提高和数据挑战的成熟，自动化将在阐明公司数据集中的重要内容方面发挥更大作用。自动化将为数据科学家开辟时间和空间，以便利用从数据中获取的见解，为业务解决方案甚至业务转型提供越来越有创意的建议。处理数据的速度也将允许生成更多的见解，这反过来会以更快的速度产生更多的洞察力，甚至可能是以前从未梦想过的新一波可能性。

当然，创新的速度固有地推动了创造性地解决日益增长的新挑战和问题的需求，即使在制定解决方案时也是如此。自动分析的优点是可以分析数据的速度。由于我们能够立即自动获取越来越多的见解，因此我们数据中的见解可能会带来更大的问题。那么，自动化将带来更好，更有创意的解决方案，这些解决方案将成为我们解决下一个更大问题的平台。

目前关于大数据的讨论之一是关于不受限制地收集和访问更多数据的愿望，以及由此产生的对隐私和安全的担忧。大数据爱好者和反对者都在写关于我们应该或不应该访问更多数据的方式和原因，以及将这些数据提供给政府或企业的意义。除非企业和政府能够促进信任并更广泛地展示数据共享的好处，否则这些讨论将变得越来越激烈。

现在世界上有许多连接设备，而不是人类，传感设备的增长将继续增长。在物联网将传感设备相互连接，允许实时通讯对他们的定位设备及其用户之间，发生的事情在他们身边，和我应该根据自己的环境中的预期。连接设备的用户将继续通过创新技术以及更亲密的方式与他们的朋友，亲人，同事和他们自己的数据进行交互。

物联网显然会像消费者一样影响企业。毕竟，企业是传感器扩散的主要来源，也是他们改进或创造的产品。我们已经看到传感器可以为企业做些什么的深刻增长。随着企业开发更好的使用方式，这些服务将继续增长并变得更加复杂。显而易见的是，我们只是在企业和消费者都可以通过连接设备从服务中获取的开始。

总结：将来，数据可能会变得更加自动化，从而为我们提供更多创意解决方案。然而，它究竟会带来什么，还有待观察。我们都猜测这波将根据当前和过去的趋势发展到何处。你认为它在哪里？

数据的英文是“data”,其实这是复数形式的“数据”，它的单数形式是“datum”——英文解释是“a fact or piece of information”,即一个事实或一条信息。所以，Data的字面意思是很多事实或信息的混合体。

数据是什么？

我们平时看到的数字和字符、字母，都有可能是数据。

例如：下图的6个0，或是4个1和2个a，请问它是数据吗？

假设给上面图中的例子设个特殊的前置场景。假设第一组的6个0其实是时、分、秒的简写，“000000”表示00点00分00秒，“112349”则表示11点23分49秒，那么它是不是数据呢？假设第二组的出现的4个1和2个a其实是一组密码，“1111”代表一个约定地点，“aa”代表一个约定事件，这组数字和字母的意义就有了相应的解读，那么它是不是数据呢？

符号如果想被认定为数据，就必须承载一定的信息。信息很可能因场景而定，因解读者的认知而定，所以，符号是否能作为数据使用，解读者的主观视角具有决定性的作用。解读者是否能够正确解读信息，将直接导致相应的符号是否能够被认定为数据。

数据无处不在。在网络上、在报纸上、书籍上。在家用电脑的磁盘上，在我们的脑海里，数据大量且广泛的存在。围绕数据，人类已经做了很多数据科学的研究和应用工作，其中最为基础的就是数据的存储、传输。数据的价值在于数据上承载的信息，信息的价值在于消除不确定性的成本及其直接和间接的作用，而这一系列的价值使得我们对数据的价值予以空前的重视。

大家好，今天跟大家聊一聊数据时代的未来和发展。

在近代人们对数据的要求没有那么的迫切，那个时候没有数据分析师，没有IT，但是随着人类的发展，随着工业革命和科技革命的发展，数据对我们来说越来越重要，比如说美国的一个城市---纽约就是一个很鲜明的例子，通过数据挖掘，有效预防了火灾。据统计，纽约大约有100万栋建筑物，平均每年约有3000栋会发生严重的火灾。纽约消防部门将可能导致房屋起火的因素细分为60个，诸如是否是贫穷、低收入家庭的住房，房屋建筑年代是否久远，建筑物是否有电梯等。除去危害性较小的小型独栋别墅或联排别墅，分析人员通过特定算法，对城市中33万栋需要检验的建筑物单独进行打分，计算火灾危险指数，划分出重点监测和检查对象。目前数据监测项目扩大到2400余项，诸如学校、图书馆等人口密集度高的场所也涵盖了。尽管公众对数据分析和防范措施的有效性之间的关系心存疑虑，但是火灾数量确实下降了。

未来是DT和IOT的时代，数据的利用会极大丰富我们的生活，以前只有电脑象征着数据处理器，但是现在手机也通上了数据，电视、摄像头、空调、冰箱、电灯泡、窗帘等等一系列生活电器也通上了互联网数据，让我们还没有回家就已经打开了空调，让我们离开家也能关闭电视机、打开窗帘、观察家里发生的一切，是互联网+数据让我们生活变得更智能更丰富，让我们的工作效率更高。

我觉得未来受数据影响最大的应该是生产制造业，因为就目前来看，我国的制造业还存在明显的短板，而且好多的生产厂家都是流水线的工人，真正意义上的自动化程度并没有那么高，前些天我在网上看到一个视频，视频是一个把活蹦乱跳的鸡杀死然后把每个部分的肉都分好类的机械设备，当然，这并不是中国的，是德国的一套机械设备，在生产过程中，全都靠机械手和传感器，鸡先在一个平台上，然后被依次推进先杀死放血然后再去毛，然后去内脏再分割腿、翅、脖子、鸡爪等等，一系列流程下来，最后把各个器官都分类堆在一起，视频全程没有出现一个人，我看完后不免惊叹科技竞如此发达，完全依靠机械手臂和传感器就能把原来我们几十分钟甚至几分钟做的事给缩短成了几秒，确实是提高了生产效率，而且还节省了人员成本。

工业生产的物联网都是依靠采集的数据来使工业生产变得更精准更人性化，不管是在什么时候，不管是在做什么，不要以为好多数据没必要去采集，因为在数据没有采集上来之前你不知道这个数据到底有没有用，因为你不会考虑到你的核心业务诉求是否受这个数据影响，一个企业也是一样，如果单纯的以为只有自己想到收集的数据是有用的，其他的数据不去挖掘不去考量不及时呈现的话，这个企业不会更好更健康的发展下去，不能及时的解决、预防企业中的问题，就像在原来没有血压计、没有x光、没有CT这些数据采集机械设备，没有这些数据医学家也没办法来研究这些病症的治疗和预防方法，使得人们的高血压、心脏病等等这些病症没有办法得到治疗和预防。

综上所述，我觉得未来的统计数据是最值钱的，未来数据统计相关的职业会越来越火爆，会越来越值钱，谁掌握的数据多，谁采集的数据实时精确，谁就会坐拥财富！所以我觉得我们以后都必须重视数据，养成数据思维，学会分析利用数据来解决我们的问题，那我们的工作效率就会更高。那么朋友们你们怎么看呢？欢迎大家留言讨论！

生活在这样一个万事万物高速发展的时代，包括人工智能、区块链等高科技在内的前沿技术都让我们的生活越来越便利，这便利正是社会对我们每个人极尽透彻的了解而产生的结果，换句话说，在这样的时代里，每个人都将成为越来越透明的存在，因为足够了解，所以才能够提供足够的便利。

而这一切，正是大数据所催生。

大数据研究专家维克托·迈尔-舍恩伯格曾经说过：世界的本质是数据。在他看来，认识大数据之前，世界原本就是一个数据时代；认识大数据之后，世界不可避免地分为大数据时代、小数据时代。

随着社会不断发展的脚步，各类数据不断累积，如果说小数据时代的各类分析调研更多的是靠样本采集，那么现在，不管从数据的维度还是层次来看，数据体量的累积已经到了一个非常夯实的阶段。

在这两个时代的过渡中，人们也自然而然的从先前的样本思维转变成大数据时代需要具备的整体思维，以更好的运用大数据，或者说，抽样调查将成为过去时，对所有数据进行分析处理才是大数据时代应有的思维方式。

人们希望能够从多维度，多角度，多层次的数据中找到宝藏。

需要提出的是大数据本身并不产生价值，如何分析和利用大数据对业务、对人们、对社会产生帮助才是它的价值所在。

大数据的多种定义

对于大数据的具体定义和价值，大多数人都停留在知其然而不知其所以然的阶段。

但这也并不妨碍大数据这一词汇在大众心中的高度，它代表着先进，代表着高科技，代表着不可预知但可以预见的未来世界。

麦肯锡最早提出了大数据时代的到来：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

对于大数据的定义，权威机构们给出了不同的表述：

世界知名咨询企业Gartner给出的定义是：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

还有一些是这样表述的，大数据是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”

不管是信息资产还是数据集合，这些定义无不在昭示着大数据对于人们未来社会的价值。

纷繁复杂的大数据体系

据资料显示，业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。

Volume，数据体量巨大。如果单单从存储量方面来考量的话，从最小的数据存储单位bit开始，按顺序往上Byte、KB、MB、GB、TB、PB、EB……那么截至目前，人类生产的所有印刷材料的数据量可达数百PB，而历史上有记载开始人类说过的所有的话的数据量大约要以EB来衡量。

Variety，数据类型繁多。类型的多样性让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。

Value，价值密度低。价值密度的高低与数据总量的大小成反比。数据总量越大，无效冗余的数据则越多，如何通过强大的机器算法迅速地完成数据的价值“提纯”是目前大数据背景下亟待解决的难题。

Velocity，处理速度快。这是大数据区分于传统数据挖掘的最显著特征，根据IDC“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。

百年企业IBM也曾提到大数据的特点，除了以上具有普遍性质的四个Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）外，还包括Veracity（真实性）。

从这些特点我们可以看出，如果说大数据的价值就在于如何分析这些繁复的数据得出预测性结论并最终利用它来实现某种职能、产生某种作用，那么对于这些数据的分析和处理则是商业社会中企业的竞争力所在。

而正是因为大数据的以上特性，也导致对数据的挖掘和分析的难度大大增加，想要通过算法从大量的包括有用的无用的数据中找出隐藏在其中的信息，这将是一个无法想象的繁复的过程。大数据并不意味着无数数据的任意堆叠，而是代表着数据计算和一系列挖掘，分析的连带反应。

而数据挖掘、分析这一系列的行为包含了非常多包括统计、在线分析处理、情报检索、机器学习、专家系统、模式识别等学科知识，也利用了来自统计学的抽样、估计和假设检验，人工智能、模式识别和机器学习的搜索算法、建模技术等领域的思想。同时，数据挖掘也接纳了来自包括最优化、进化计算、信息论、信号处理、可视化和信息检索等其他领域的思想。

而大数据的繁杂和所涉及的学科范围之广度和深度让所有对于数据的挖掘和分析成为了亟待解决的难题。

大数据的价值远不止你所想

如果从企业决策的角度来看，在任何行业，任何领域，通过推动数据化或大数据演算提升企业决策和企业战略实施的，仍然是人的大脑。

唯一的区别是，从前依靠丰富的企业经验和信息整合能力来决策的领导层，如今依靠的是高性能并行的计算机处理技术来处理海量的数据集，分布式的演算出最终的战略决策。利用这样的科技，就可以大大提升领导决策的精准度和效率。

而其实大数据的作用已经不仅仅是为各类决策提供帮助，它甚至能够用海量的数据塑造个体，用户分析将不再适用，因为大数据甚至可以塑造用户。

从商业角度来看，从繁杂庞大的数据中挖掘、分析用户的行为习惯和喜好，研发出更符合用户偏好的产品和服务，并结合用户需求有针对性地调整和优化产品，以优化用户体验，最终获得商业利益，就是大数据在商业社会的价值。

抛开商业，利用大数据预测可能的灾难，利用大数据分析癌症可能的引发原因并找出治疗方法，都是未来能够惠及人类的事业。

例如，大数据曾被洛杉矶警察局和加利福尼亚大学合作用于预测犯罪的发生；google流感趋势利用搜索关键词预测禽流感的散布；麻省理工学院利用手机定位数据和交通数据建立城市规划；气象局通过整理近期的气象情况和卫星云图，更加精确的判断未来的天气状况。

在数据样本足够多的情况下，我们会发现，随机事件慢慢会带有必然趋势朝着他自身的概率发展。就像一枚硬币的正反面，就像一道选择题的四个选项。我们也可以说在真实数据足够多的情况下，很多预测性的事物都会越来越精准。

在大数据时代，不再依赖于采样的人们可以获得并分析更多的数据，更清楚地发现样本无法揭示的细节信息，随着计算机处理能力的日益强大，人工智能机器学习系统的不断升级，庞大的数据给人们带来的价值成倍攀升。

实验的不断反复、大数据的日渐积累让人类不断发现各种规律，从而能够预测未来。

如果说理论是认知大数据的必经途径，那么技术则是大数据价值体现的手段和前进的基石，而大数据的最终价值体现则要靠实践。

2010年《Science》上刊登了一篇文章指出，虽然人们的出行的模式有很大不同，但我们大多数人同样是可以预测的。这意味着我们能够根据个体之前的行为轨迹预测他或者她未来行踪的可能性，即93%的人类行为可预测。

可预测代表着可控，可控代表着失误的不断减少。

最终，我们都将从大数据分析中获益。

本文图片及部分资料来自网络