什么是大数据？大数据就是指在一定时间范围内无法使用传统数据库工具对其进行捕捉、管理、计算、分析和处理的数据集合，大数据有以下四个特性：海量的数据规模（Volumn），数据类型繁多（Variety），数据流转速度极快（Velocity）以及价值密度较低（Value），我们就说说这四大特性。

海量的数据规模

我们接触最多最敏感的数据那就是我们手机所购买的流量，最常见的数据计量单位为K、M和G，他们的关系为1G=1024M，1M=1024KB。也许你也听过TB，1TB=1024G，这个数据单位对我们来世已经相当庞大了，我们的笔记本最大的容量也就在1TB这个级别，但是在大数据眼里最小的数据也得10TB起，比TB级还大的数据计量单位还有吗？有，而且还很多，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB......我们已经无法感知这么大的数据量了。截止到2011 年，互联网用户数已达到20 亿； RFID 标签在2005 年的保有量仅有13亿个，但是到2010 年这个数字超过了300 亿；2006 年资本市场的数据比2003 年增长了17.5倍；日前新浪微博上每天上传的微博数超过1 亿条；Facebook 每天处理10TB 的数据；世界气象中心积累了220TB 的Web 数据，9PB 其他类型数据……

极快的数据流转

数据具有一定的时效性，是不停的变化的，可以随时间数据量逐渐增大，也可在空间上不断移动变化的数据。如果我们采集到的数据不经过流转，最终会过期作废。客户的体验在分秒级别，海量的数据，带来的第一个问题就是大大延长了各类报表生成时间，我们能否在极端的时间内提取最有价值的信心呢？数据在1秒内得不到流转处理，就会给客户带来较差的使用体验，若我们的数据处理软件达不到“秒”处理，所带来的商业价值就会大打折扣。

价值密度低

尽管大数据的数据量巨大，但是有价值的信息极少，我们要通过分析才能将大数据从数据到价值的转变，这些工作量极其庞大，所以云计算是一个很好的解决途径。以监控视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

数据种类繁多

数据的格式是多样化的，如文字、图片、视频、音频、地理位置信息等，也可以是不同的数据类别，也可以有不容的来源，如传感器、互联网。首先用户是一个复杂的个体，单一的行为数据是不足以描述用户的各种行为，多元化的信息采集处理就像拼图一样，逐渐勾勒出我们身体的骨架，增添上我们的血肉。我们在淘宝、京东购物时，总会在下面的推荐区推荐我们想要的东西，比如我们去频繁的搜索浏览某件商品，这是他们就会采集我们浏览的数据，从中挖去有价值的信息，推送给我们。所以说这样的模式给一种体验，那就是这些app越来越懂我们的爱好和需求。

大数据未来会渗透在很多领域，大数据与云计算，机器学习与人工智能，物联网，区块链等。

我们每天在互联网上的举措都邑爆发大年夜批的数据，随着大年夜大年夜数据和人工智能的展开，这些数据的价值也愈来愈主要。

而关于产品不合的展开阶段，需求有不合的开拓、运营和营销计谋与其婚配，若何把控产品线展开的全部节奏和计谋是关键。

一、大数据随处可见

大年夜大年夜家都在讲大年夜大年夜数据，这里我们提炼出了几个特点。

1.数据体量特别宏大年夜大年夜。

数据积累手段门槛愈来愈低，大年夜大年夜家愈来愈留心到从真实世界到数据世界的数据化过程，搭建了十分多的数据集合、收据归集的基础装备。

在个过程傍边，我们的数据体质变得愈来愈大年夜大年夜。

2.数据类型多样。

大年夜大年夜家都在做数据归集，数据剖析，类型十分多样。

这些数据很多时分相互没有买通，这个时分若何做数据买通，若何在自己的范围外面把数据做成闭环，可以构成一个良性的迭代。

还有就是处理速度要很快，处理数据不瞬间爆发就会掉落掉落落贸易价值。

若何把数据提取出来的价值瞬间把释放出来，也是在用户生命周期运营的时分十分主要的一点。

3.价值密度低。

你会发来岁夜数据在各行各业应用傍边，很多时分你可以掉落掉落落有效的数据或许是积累到肯定水平的量以后才干迸发数据的价值，这个密度是十分稀少的。

数据以外还要拼一些模型算法、算力，假定谁能用更好的模型算法、适宜的模型算力尽快连接到数据和贸易价值，这就是胜利的关键措施。

二、数据时代的用户生命周期如何管理

不知道大年夜家有没有看过腾讯的财报，从财报反应出来的用户增加数据，可以清晰的看到今朝流量红利确实不在了。

因此随着流量红利的消失，我们的用户增加出现了一种疲软的形状，为甚么会疲软？

有一个主要的要素是，愈来愈多的竞争者在进入市场，全部市场的竞争是不时在加重的。

集约式的运营方法，曾经不适应这类市场情况了。

现在的运营需求我们以用户为中间，深化去开掘用户的一些特点，包罗去应用各类各样的数据，来协助我们去晋升用户运营的效力。

所以我们提出了“用户的生命周期办理”这个概念。

其实当一个用户进入到你的APP的时分，不管是从下载装置，到应用，或许是付费，总有一天他是会消失的，全部过程当中会经历分歧的阶段。

在获客期，生临时，和到成熟期，到阑珊期，到流掉期，分歧的阶段，有分歧特色的。

作为运营者来讲，若何应用数据更好地在每个阶段效劳这些用户，晋升这些用户的体验，其实这是每个用户运营者都邑去想的后果。

接上去我给大年夜家讲一下，如何用数据，在每个周期去做如许的一些任务。

1.获客期

获客阶段，获客的手腕迥然分歧，不过就是渠道、社交、和告白这三个层面。

① 渠道办理

渠道这块能够是获客的主要手腕，现在的APP运营者都邑找分歧的渠道去做APP履行，在这个过程傍边，都邑碰到一些后果，而且现在获客成本愈来愈高。

其实也是因为互联网开展到现在，很多资本都曾经被垄断，而告白主在这方面的议价才华又十分低，只能在获客成本高低足时间。

在这个过程傍边，也会碰到一些后果，比如说告白主去应用这些渠道，停止一些履行，经常会碰到质量与成本平衡性的后果。

各个渠道会经过各类手腕，去把少量新客拉出去。

然则告白主经常会想，我想要质量的时分，很有能够成本没方法保证；想要数量的时分，很有能够质量没方法保证。

所以在这个过程傍边，找到一个用数据来措辞的平衡点，让大年夜家可以在各自的范围傍边，能有响应的数据支撑。

告白主经常有一些不实在践的请求，比如说一天给我带五万个新客出去，大年夜家都知道这个能够性十分小，作为渠道他会如何办？

他能够会给你一些假的用户，活泼度十分低的用户，这个时分我们就要用数据去衡量。

每个渠道给你带来的用户，这些用户有什么样的特点，保存率、活泼度如何样。

用这些数据目标去分派渠道预算，这也是用数据的方法来寻觅平衡点的方法。

② 社交红利

大年夜家都知道社交收集在移动互联网是最具优势的传达对象，关于这个传达对象来讲，大年夜家都邑去应用。

因为其实老用户带新用户的转化率是十分高的，社交属性可以消弭大年夜局部用户的顾忌。

假设再加上大年夜数据的标签，可让运营者或许开辟者更有效地停止针对性传达，可以去协助你做用户的增加。

③ 告白投放

告白投放是最遍及的一种方法，大年夜家会用各类各样的告白去做投放，然则在这个过程当中，都邑碰到一个后果？

就是渠道与告白主之间的一个博弈。

渠道可以经过各类方法拉到新用户，其实有时分会和告白主欲望的不太一样。

如我针对女性投放的告白，我新出去的获客应当大年夜局部是女性，这个时分如何校验呢？

停止投放的时分，异样也需求大年夜数据去停止验证，如何验证呢？

这类时分就需求借助第三方数据平台，我们会用到个推旗下的“个灯”产品，经过个推的大年夜数据剖析，通知你这个用户究竟有什么样的特点，有什么样的兴味喜好。

在这个过程傍边，我们同时也会找到一个平衡点，所以我们在告白投放过程傍边，可以应用用户画像，晋升你运营的效力。

在获客过程傍边，或许是在初始阶段，我们做数据验证必然要用到数据办理平台，这些数据平台在各个阶段也有分歧的感化。

在低级阶段，最主要的照样验证新获得的这些用户，他究竟是否是我想要的这些人，便可以经过一些复杂的用户画像，来做如许的数据校订。

到了中期，便可以应用数据模型，应用这类数据的优化，来指导告白投放，就是说这些用户出去以后，他可否契合老用户的特点。

到了前期，乃至可以应用老用户的特点剖析、行动剖析，经过机械进修的方法，来寻觅更多的潜伏用户。

2.生临时

① 冷启动

在发展阶段，大年夜家都邑碰到一个后果，当一个新的用户出去以后，你是不知道这个用户有甚么特点的。

这个时分我们可以去经过一些第三方数据平台，去越发了解这个用户。

协助你去做一个冷启动的内容引荐，应用到信息流、电商外面，会有很好的后果。

② 内容引荐

昔日头条不时想要做千人千面，其实这其实不是一个轻易的事。

在我看来，这个工作是十分缓慢的过程，或许说它是一个稳扎稳打的过程，为什么这么说？

比如说我对自己的用户做一个复杂的分组，对这些分歧分组的人去做分歧的运营计谋，然则大年夜家会认为这个器械起不到异样的后果。

其实再往下做一层，我会做矢量级其余分类，做聚类剖析，把有合营特点的用户放在一类，去做响应的剖析，对有这些合营特点的人，去做响应的一些运营的计谋。

3.成熟阶段

进入到成熟阶段，运营成本能够会愈来愈高，而老板需求浪费运营成本，如何做？

① 节俭成本

方才说到告白投放，很有能够给我带来的都是假流量，我如何去辨别流量是真的呢？

我们可以经过借助第三方大年夜数据平台，帮你识别这些用户比来一段时间，究竟有没有装置过这个APP。

这些用户是从哪个媒体来的流量、活泼度是什么样的，和是否是真实流量。

② 培养用户付费习惯

关于中国花费者来讲，付费的志愿是十分低的，在中国想去做用户付费很难，为什么这么说？

因为中国花费者曾经习惯了收费享用APP供给的效劳，他没有这个志愿去做付费，那我们要如何去培养用户的付费习惯呢？

可以先从一些小额付费的产品做起，先培养他的付费志愿。

在这个过程当中，假设说他经过付费以后，曾经获得了一些分歧样的体验，大年夜额付费距离也不远了。

③ 优惠鼓舞政策

比如发红包，各类鼓舞手腕，固然手腕很俗套，然则后果照样很不错的。

4.阑珊期

一个用户出去以后，不能够说他不时都是你的用户，他总有一天会离开，在离开之前，或许说你发明他行将要流掉的时分，你该如何做？

其实这个时分，我认为应当起主要做的工作，就是去做一系列数据的剖析。

要去看他究竟是否是曾经在用你的APP的同时，曾经应用了行业内或许竞品的APP。

照样他的需求是否是爆发了变更，这些数据关于APP开辟者来讲是不清晰的。

比如明天这个用户曾经不活泼了，这就需求借助个推旗下的第三方数据运营对象“个数”来剖析，它能够会通知你，用户曾经装了相似的APP代替你了。

在真实的流掉之前，其实你照样要做一系列剖析，比如这个用户缄默了，然则他关于你来讲，是低价值用户照样低价值用户还需求去判其余。

我们可以经过个推大年夜数据剖析，他的APP应用状况，翻开的频次，应用的时长来辨别。

剖析用户是低价值和低价值以后，还要做一系列唤醒的举措，辨别这个用户是否是曾经卸载了，照样说他只是缄默了。

剖析完以后，还要辨别一下，这些用户我应当用什么样的手腕去做一系列的唤醒举措。

5.流掉期

方才说到流掉，再往下看一层，假设用户卸载了如何办？

卸载了大年夜家必然会欲望说，我要去把它召回来。

其实大年夜家都知道召回用户这件工作是一件十分难的工作，为什么这么说？

假设说把召回用户比做挽回前任的话，大年夜家就比拟轻易了解了。

不外可以在做召回之前，我们可以做几件工作，起首我得知道流掉了若干用户。

我们可以经过个推的应用统计产品“个数”，去了解APP各渠道的卸载数及卸载趋势，还可以剖析用户的卸载流向、卸载用户成分、卸载召回剖析。

知道有若干用户卸载了也不可，我还得知道这个用户究竟是什么样的人，去问这些用户，因为什么样的启事卸载。

在这个过程傍边，我们可以经过数据了解APP的用户，究竟是哪些用户卸载了，有若干人卸载，和包罗他卸载的启事是甚么，经过这个方法，来协助你去做召回。

同时还要对行业有必然的了解，不美观察全部行业是否是也爆发了变更，究竟是否是你自己的启事，运营的后果照样产品效劳的后果。

如果您对传统企业互联网转型、大数据、工业4.0等内容的文章、资料、PPT等感兴趣（有提供下载哦~），欢迎关注强企阅闻公众号。

来源／钱塘大数据

在这个用数据说话的时代，能够打动人的往往是用数据说话的理性分析，无论是对于混迹职场的小年轻，还是需要数据进行分析和研究的同学，能够找到合适的数据源都是非常重要的。特别是想要对一个新的领域进行研究和探索，拥有这个领域的数据那都是有十分重要的意义的。

1.－ 国家数据 －

http://data.stats.gov/index.htm

数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可视化读物。

2.－ CEIC －

http://ceicdata/zh-hans

最完整的一套超过128个国家的经济数据，能够精确查找GDP, CPI, 进口，出口，外资直接投资，零售，销售，以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。

3.－ wind（万得）－

http://wind/

万得被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。

4.－ 搜数网 －

http://soshoo/

已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。

5.－ 中国统计信息网 －

http://tjcn.org/

国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

6.－ 亚马逊aws －

http://aws.amazon/cn/datasets/?nc1=h_ls

来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。

7.－ figshare －

https://figshare/

研究成果共享平台，在这里你会发现来自世界的大牛们的研究成果分享，同时get其中的研究数据，内容很有启发性，网站颇具设计感。

8.－ github －

https://github/caesar0301/awesome-public-datasets

如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。

随便上几个图，满满的都是资源啊

免责声明:本公众号所载文章为本公众号原创或根据网络搜集编辑整理，文章版权归原作者所有。如涉及作品内容、版权和其他问题，请与我们联系！ 文章内容为作者独立观点 ，并不代表兮易强企赞同或支持其观点。

黑发不知勤学早

白首方悔读书迟

在今天的这个社会你一定听过的时髦词语有：人工智能、大数据、互联网思维…，而本书《大数据时代》是2012年出版的，忆往昔，2012的时候小米手机1第一次正式网络售卖，那时的我刚踏入大学的校门，那时的你也绝不可能想象到几年后社会发展的如此之快，各种数据、各种共享经济席卷而来。虽然已经6年多过去了，但今天读这本书会发现，书中的思维依然值得我们学习。

另，这本书不是一本IT行业的技术书，并没有涉及到具体处理大数据的技术，而是一本开拓思维的、帮我们认识和了解大数据的指导性书籍。

本书作者是维克托·迈尔-舍恩伯格，为了说明这个作者牛X，简单贴一些他的成就：

学术成果有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上，他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。 世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业；而他自己早在1986年与1995年就担任两家软件公司的总裁兼CEO，由他的公司开发的病毒通用程序，成为当时奥地利最畅销的软件产品。 众多机构和国家政府高层的信息政策智囊。他一直专注于信息安全与信息政策与战略的研究，是欧盟专家之一，也是世界经济论坛、马歇尔计划基金会等重要机构的咨询顾问。

此书目录的结构清晰明了，第一部分主要是讲大数据时代的思维，第二部分讲了很多大数据在商业中的具体应用案例。体现作者水平的是第三部分，作者考虑到了大数据也是有两面性的，数据不可能主宰一切，故在第三部分讨论了大数据发展中带给人们的问题以及人们的应对措施。

了解大数据之前先要明白两个概念——数字化与数据化。

数字化：把模拟数据转换为0,1表示的二进制码。

一个例子就是，电脑、手机处理的数据都是数字化的0,1数据，而现实世界的温度、压力的实际存在形式是连续变化的模拟数据。数模转换是通过传感器、数/模、模/数转换器实现两者之间的相互转化。

数据化：将现象转变为可制表分析的量化形式的过程。所谓的数据挖掘、数据分析就是对数据化后的数据处理。

其中，数字化是数据化的前提。

对我来说，此书的帮助就是拓展了新的思维方式，认识到大数据时代的3个特点：

1.不是随机样本，而是群体数据

小样本时代： 样本远小于总体

大数据时代： 样本等于总体

正因为，样本数据量的增多，才挖掘到了数据间新的关系。对这么多样本数据的采集得益于今天技术的发展，电子化驱动的世界中，手机的信息、汽车上的传感器、微博空间的消息…都可以被记录并保存下来用于分析。

2.不是精确性，而是混杂性

因为小样本时代，最基本的要求就是保持收集数据的准确性，以利于分析并得出正确结论。而大数据时代，数据量的巨大和数据格式的不统一，必然会夹杂混乱或错误的数据，但为了利用大数据的优点必然要接受错误数据的存在。

这让我想起了一句话“模糊的精确比精确的模糊更好”。大数据让我们不再期待精确性，也无法实现精确性。

3.不是因果关系，而是相关关系

两个不同的逻辑方式对数据处理的过程也不一样：

因果关系： 为什么。

相关关系： 是什么。

例子：沃尔玛是世界上最大的零售商。2004年沃尔玛分析它的商品数据发现，每当季节性飓风来临之前，不仅手电筒销售量增加了，而且蛋挞的销量也增加了。因此当季节性风暴来临时，沃尔玛会把库存的蛋挞放在靠近飓风用品的位置，方便顾客购买。

上面这个例子说明，对于大数据分析得到的结论，我们往往暂时发现不了或者找不到数据间的因果关系。但大数据的现实结论又摆在眼前，所以在大数据的时代，除了我们潜意识里常用的因果关系外，我们要重视相关关系这一逻辑。

大数据的核心是什么？——预测。

我们处理大数据就是为了预测，预测城市里哪条道路现在不堵车、预测汽车零件是否该维修替换了、预测人们网上购物的个性化需求以推荐合适的商品…

虽然大数据的预测通常被视为人工智能的一部分，或一种机器学习，但这种定义有误导性。我们是通过用大量过往数据蕴藏的关系来对未来同类型事情进行预测，并不是教机器像人一样思考，更不是指望大数据像“神”一样预测未来的一切。所以，大数据的预测是一定条件下、有限的预测。

大数据的更好的发展需要三个方面的提升：思维、技术、数据。

数据本身并无价值，只有使用才会体现其价值。对于三者的关系，我认为技术是外在的实现手段，而数据是所有的基础。但在早期阶段，技术和思维是最有提高价值的，也是我们现在可以抓住的机会。

大数据发展的弊端：

1.隐私问题

2.预测判断以及惩罚人类的潜在行为，与伦理相悖

隐私问题随着商业公司和我们对数据的重视必然会有一定冲突。但这个问题远不如第二个问题严重。试想一下，大数据通过收集你以往做的事和说过的话，判断出80%的概率你将会有违法行为，故警察到家里把你逮捕。这是多么可怕！大数据预测和惩罚人们，并不是因为“所作的事情”，而是因为“将要做的事情”，而将要做的事情是机器判断出来的，我们并没有发生的行为。

对于这一个问题，我们必然要思考人与数据的关系。我的思考是，人是高度复杂的，数据是由人产生的，我们可以借助大数据的力量优化我们的社会，提高我们的工作生活效率，但应避免对数据的过度依赖，成为数据的“奴隶”。数据没有思维能力，更没有创新能力，数据造不出改变世界苹果，而人可以。

人的未来必须保留部分空间，否则大数据会扭曲人类最本质的东西——理性思维和自由选择。书中的一句话很好“人类最伟大之处正是算法和硅片没有揭示也无法揭示的东西，因为数据无法捕捉到这些”。

最后问你一个问题，你认为“日久见人心”是一种大数据思维吗？

END

诗词赏析 | 读书感悟 |

—不悔书堂—

｜作者：希小婧&南七道 编辑：南七道

“这两年在大数据领域，纯粹讲概念没有技术的公司都死完了。融资过很多的钱的企业虽然还存活着，但大多过的也很难受。”一位大数据领域的资深创业者，对创界网(ID:ChuangDaily)说出了整个业内的真实现状。

从2016年开始，就有人喊大数据的寒冬来了，但依然有很多资本进入大数据这个领域。到2017年《网络安全法》实施，曾经被称为大数据天堂的野蛮生长时代结束，行业进入调整期。进入2018年，洗牌持续加剧，凛冬真正来临了。

大数据公司的寒冬真的来了

在当下，大数据领域的公司基本是三分天下：BAT华为等巨头系、TalkingData华云数据Dataeye等创业系、和电信、移动、联通等国有系。

2013年到2016年，是大数据相关公司的春天，在这几年，创业公司很容易拿到融资，从几百万到数亿不等，有业内人调侃说：“行业风口期，只要在电脑上打开一个Excel表格就敢说自己是大数据公司，就有可能融到资。”不完全统计，仅在2017年的上半年，就有63家大数据创业公司获得了融资，总融资超过68亿人民币。其中获得上亿元融资的企业有17家。更有人乐观估计，在2020年，整个产业会超过13000亿。

从2016年下半年开始，大数据行业的公司数量就开始逐渐压缩和减少，其中D轮融资超过4亿的百分点等公司开始大幅裁员，据说将超过600人的团队压缩到了300以内。2017新年刚过，亚信数据同样步入调整步伐，负责新领域探索的部门全部砍掉，据说还会有第二轮裁员。

除此之外，大数据公司在融资方面也遭遇难题，除了极个别的头部公司获得了大数额的投资，例如百融金服在今年4月完成了由中国国新基金领投，老股东红杉资本中国基金增持的10亿元人民币的C轮融资外，其他大多数的公司特别是初创团队获得融资的非常少，也有不少公司的融资记录还停留在前几年，比如集奥聚合的融资还停在2014年的B轮。

上海某基金的合伙人对创界网(ID:ChuangDaily)说，他们基金在14-15年投资了12个大数据项目，到了16年投资了4个，17年1个，18年完全停止了投资。主要是观望。而在投资的17各项目中，已经倒闭的有5个，占近30%。转型的有7个，剩下的5个，还在继续熬着。“几乎全军覆没。”说完之后他长叹了一口气。

国内大数据细分领域的头部公司Dataeye创始人汪祥斌指出，即使是估值很高的一些头部项目，现在大多日子也不好过。行业现在最主要的就是谋求商业变现。根据爱分析发布的《2018中国大数据行业报告》显示，我国多家金融、政务大数据公司收入突破亿元大关，看上去一片繁华。但是由于大数据的基础建设需要长期投入，能做到收支平衡已经是不错的情况。少部分公司如Dataeye另辟蹊径，探索海外，已经实现了初步盈利。

还有部分的大数据公司，继续流血融资。多位从业者表示，由于之前概念炒的太火导致现在的大数据公司估值太高、项目太贵，目前整个行业都面临溢价过高这一问题。据说某一头部大数据公司在最新一轮融资中，上市的互联网巨头投资方觉得估值太高，直接打了对折，虽然最后还是融资了，但已经无心对外公布融资金额。

实际上到目前为止大数据领域，没有真正形成规模化变现或者利润很高的公司，面对如今热潮的褪去，当初给投资人开出的溢价无法兑现，后续融资压力很大。即使有收入，在行业营收较好的大数据金融还有政务公司，都面临回款这一硬伤。某大数据公司，和一银行签了一笔100万订单，三年过去了，还有一半的款没有结算。

大数据行业靠着概念就能拿到钱的风光早已一去不复返了，现在的大数据行业面临不可逆转的生死劫。

为什么大数据行业如此萧条？

大数据野蛮生长的时代已经结束，面对行业现在的艰难，追根溯源，是因为行业建设周期长、缺乏底层核心的技术、萎靡的经济大环境等综合原因造成的。

核心的大数据底层技术缺失

即使经过6年发展，我们依然缺乏大数据的核心技术。Dataeye创始人汪祥斌对创界网(ID:ChuangDaily)说，国内所有标榜做大数据的公司，用的基本上都是美国的hadoop底层核心技术，一旦全部切断，那么国内没有一家数据公司能存活下来。

据悉，目前有关大数据底层的核心模块全部来自于美国公司，包括腾讯、阿里在内的所有公司都在用它提供的技术。包括分布式的数据库在内，国内公司在这方面几乎没有原创技术，只有阿里逐渐在大数据开源社区贡献了一些技术。

国内的大数据公司，目前更多是在应用层面进行创造。这是当下国内互联网创业者最擅长的，能短期见效的、变现的应用层面的东西，比如说做数据统计、分析、挖掘等应用层面的技术。这是中国创业者在大数据行业的优势和强项。由于底层技术的缺失，根基不牢，一旦整个行业发展遭遇动荡，产业链上的创业者可能都会被波及，很难长远发展。

数据大而不精的尴尬现状

以广告投放为例，外界都以为大数据公司掌握大量数据，可以做到精准投放来增强产品购买率，在理论上来说没错，但其实只是一个理想状态。实际情况下，一个人的消费是由诸多维度的信息共同组成的。要实现信息采集、画像分析、用户推送、交易转化，需要掌握各种大量信息数据，然后在恰当的时间地点把东西推给合适的用户。比如一个喜欢浏览汽车的用户，如果在他面试或者开会的时间进行推送，很有可能就达不到传播目的，更不用谈转化。

实际上，国内每家数据公司其实都是一个数据孤岛，拥有的只是一个很片面的数据，并非一个全景化数据。虽然每家数据公司都标榜自己是全景化数据，但实际上并非如此。在大数据整个行业里，即使是腾讯这样的巨头也不敢说它的数据是全景化的。

行业建设周期长短期难获利

在国内，投资人普遍有一个通病，就是不能接受长线投资，这点在大数据领域体现的特别明显，很多投资人入局都是抱着一年翻倍、三年推出、四年上市这种心思来的，自然导致了大数据领域早前的概念成风、虚火旺盛现象。用资本的热度和周期去考核大数据行业的变现时间，本身就是一个错误。在大数据行业，数据积累和开发是有一定周期的，只有积累到一定数量，才有可能变现，但这没法一蹴而就。行业的发展是需要足够成长周期的，需要时间的积累和足够的耐心。

因为投资急躁，加上部分大数据领域创业公司的急于变现，甚至是投机取巧，企业当然无法安心扎根于技术，行业自然乱象丛生，加上《网络安全法》等数据法律健全，必然造成了一批大数据公司被淘汰。

经济下行投资环境日益艰难

进入到18年，由于经济大环境越来越不乐观，连巨头腾讯的股票都暴跌40%，很多基金连完成新的一轮募资都很困难，自身难保。剩下有钱的基金更加趋于谨慎。作为需要长期投资的大数据领域，融资更是越来越难。2018年以来，有关大数据公司融资的消息几乎是凤毛麟角。现在几乎到了“闻大数据色变”的地步，在投资人眼中已把大数据与“忽悠”、“骗子”一词挂钩。如此严峻的形势，估计还会持续2-3年。

出身腾讯系的创业者，Dataeye创始人汪祥斌称，他们早在3年前，就对行业的变化有了判断。早已经向日韩等国家开拓业务，和本土企业在当地成立公司，而这些企业都是在业内深耕了20年左右。同时公司也正在孵化AI团队，进一步开发一些核心算法，让产品适应更多的国家和地区。接下来，他们还会做基础的数据技术，相关的一些开放式的数据挖掘、封闭式的数据挖掘等。由于布局及时，避开了国内行业的红海，Dataeye预计会在今年实现更高的利润。

海外大数据市场逆势发展

与国内大数据公司面临困境的状况完全相反的是，海外的大数据行业正处在行业高速发展的两极状态。除了中国团队和企业走往海外。欧美等本土大数据公司开始批量上市。根据美国2016年大数据全景图，可以看到美国目前众多大数据相关公司和团队，行业非常细分，并且整个生态链都很健全。

在当下，国内的部分投资机构想投拥有核心基础技术的大数据公司，都会去硅谷，而国内优秀的大数据人才也向硅谷流失，因为那里更适合行业和个人发展。

与国内资本寒冬形成对比的是，在美国市场上，今年有大量美国大数据公司成功IPO。包括SurveyMonkey、Domo、Dropbox、DocuSign和ZScaler等多家公司。刚过去的10月6日，美国的一家大数据公司Elasticsearch$(ESTC)$也在美股成功上市，它是一家做数据搜索的公司，刚开始只是一个开源社区，然后慢慢变成一个成功的商业公司。上市当日股价直线拉升，最高点涨幅达122%。

《权力的游戏》里，主角们提及最多的就是“凛冬将至”，大数据正在经历前所未有的寒冬。但正如2000年左右互联网泡沫爆炸之后，走出了阿里谷歌一样，包括大数据行业也必然经历这个发展周期。历经渡劫的大数据行业，才能像社交、电商行业那样，成长出真正的独角兽。

身边很多朋友提过或者是想要走进大数据这个行业

每个人的Background不一样，能力，擅长的领域都不一样

卡里有一句发自肺腑的话要说给大家听

不是热门的，薪水高的，所谓好找工作的专业就值得去学；

真正值得学的是你理性地衡量了所有标准以后，最适合自己的，才是值得你学的

作为大家的小超人

卡里今天要给大家写一篇很长很长很长的文章

你可以选择 现在就滑出去 不看

然后卡里从此跟你老死不相往来

或者你可以继续读下去

然后卡里仙女可以用仙气笼罩你

首先，卡里给你准备了一篇很优秀的文章里的几句话

这篇文章叫做：在你想要读数据科学的学位前，你需要知道的五件事

“

1

你不一定非得读一个数据的学位；你可以自学，或者去一个boot camp。

不讲笑：此刻你可能需要一个网站

dataapplab

2

数据科学从来就不仅仅是数据，它牵扯了无数个不同的领域。

3

如果有一个专业或者项目提供的课程只是简单地把各种别的相关课程包装一下，别去。

4

理论之上还有不同的理论要去学习，好好掌握基本的理论

5

无论你读不读一个学位，你都要稳步提升自己的软实力。

”

每个小仙女在成为大仙女之前都得知道自己的能力条可以发展到哪里，然后为之努力。

卡里就早早知道自己是不能靠脸吃饭的仙女，于是决定做一只才华仙女。

（有一丢不要脸）

理性，合理，不违背真心地衡量自己是你做出人生重大决定的第一要义。

让我们来举一个可爱的

布吉岛大家还记不记得当年火遍全球的

Pokemon GO!

如果你是一只Pidgey，那你就特别特别努力地进化自己，然后变成一只Pidgeotto，然后再继续努力，变成一只厉害的Pidgeot。你可以做你擅长的领域的大牛，或者你可以做你擅长的领域的数据师，毕竟数据从来都不仅仅是数据。

如果你是一只Eevee，那你可以努力看看，看看自己会变成哪种小精灵。是数据科学家，商业分析师，还是数据工程师？

如果你是一只 Jigglypuff，Clefairy 或者 Pikachu，

请乖乖做一只小可爱好么？

当然你也可以是会数据分析的小可爱。

如果你是一只Magikarp，请认识到自己的潜力，你，就是下一个吴恩达。

好啦 让我们回到正文

【本科篇】

本科的专业相比于研究生，可能课程更具多样性。和别的专业的学生一样，都要修一些General Education，不同领域各种门类的普遍性教育课。然后专业课的部分更多的是对于基础性教育课一层一层的积累，所以相比于研究生再转进去读的同学来说，本科开始读可能基础会更扎实一些。然而，本科的数据专业并不多，而且都很新，加上正规的不正规的，大概齐是有六十个左右的学校开设了本科的数据科学专业。

卡里从中选择了4个项目来跟大家分享。

【Columbia University -- B.A in Data Science】

一个综合排名贼高的藤校，本科设立了一个数据科学的专业，计算机院的专业。

官网上稳准狠地说明了Data Science的本质，不过就是学好了计算机和统计。

从官网的课程设置来看，还是对于学生的计算机和统计功底要求都很高。这对于一部分还没有决定是不是要走数据科学走到黑的人来说是好的，研究生可以重新回到计算机科学的回报或者去做个统计学大牛也不是不可以。

核心课程

Probability Theory

概率论

Statistical Inference

统计推断

Linear Regression Models

线性回归模型

Statistical Machine Learning

统计机器学习

Introduction to Computer Science

计算机科学

Data Structures

数据架构

Discrete Math

离散数学

Analysis of Algorithms

算法分析

看了这些，你是不是有一丢心动？

卡里告诉你：请安抚好你的小心心别乱动，哥大不是你想考想考就能考。

【University of Rochester - B.A / B.S in Data Science】

这个大学是厉害的，同一个专业，你可以选择以BA毕业也可以选择以BS毕业，你要是想以BS毕业，你就得多读几节课。官网里说了，BA呢更自由一些，一般是你想要双专业毕业的话会更合适一些。如果你想深度了解数据，那就选择BS的课程。

对于这个专业设置，卡里觉得是厉害的，

给你，你想要的全部自由，非常适合射手座的一个学校（微笑）。

核心课程

Discrete Mathematics

离散数学

The Science of Programming

编程

The Science of Data Structures

数据架构

Linear Algebra with Differential Equations

线性方程

Ordinary Differential Equations

常微分方程

Computational Introduction to Statistics

计算机统计

Elements of Probability and Mathematical Statistics

概率论与数理统计

Applied Statistics for the Biological and Physical Sciences

生物与物理统计

Intermediate Statistical and Computational Methods

中级统计与计算机方法

如果大家有幸被录取到了这所美丽的学校，可以考虑跳进数据科学的大坑。

【Ohio State University - B.S Data Analytics】

曾经年幼无知的卡里以为OSU只有商学院厉害，后来卡里的老铁去OSU读了Data Analytics，卡里发现，咦，技术也是挺厉害的。介绍它的原因呢是因为它这个专业下有几个很有趣的分支，我觉得作为本科的专业，这一点是比较难得的。因为相比于别的传统专业，数据科学已经是非常细化的专业了，能够分出一定的师资在专业下开设分支以便学生学习不同领域的数据是难得的。

核心课程也没有什么可惊喜的 所有学校都大同小异

Calculus and linear algebra

微积分和线性代数

Data mining and statistical learning

数据挖掘和统计

Database design and cloud computing

数据库设计和云计算

Optimization （这个课是有一丢厉害的，一般研究生的program里才会出现）

最优化

Probability and statistical inference

概率与统计推断

Regression modeling and statistical decision making

线性回归和统计决策

Software design and programming

软件编程

Visualization （这个课也是有一丢重要和厉害的）

可视化

每个学生从下面四个里面选择一个方向专攻，看上去都是厉害的不得了的方向

但基于卡里作为一个本科生 对 本科生群体的了解

选的最多的应该还是Business Analytics 和 Computational Analytics

Biomedical informatics

生物信息学

Business analytics

商业分析

Computational analytics

计算机分析

Social science analytics

社会科学分析

【University of California, Irvine - B.S Data Science】

最重视的当然要放在最后，这是卡里的母校，DS也是卡里当年心心念念的专业。这个专业比较新开设的较晚，它出现的时候卡里已经没有机会转进去了。

毕竟，得不到的就成了卡里心尖尖上的朱砂痣和明月光

当然，也希望得到了的幸运的小朋友们不要觉得这个可爱的专业是蚊子血和饭米粒

好的让我们来看看这个专业的

核心课程

Introduction to Programming

编程

Programming with Software Libraries

进阶的编程

Intermediate Programming

最厉害的编程

Introduction to Writing and Rhetoric

写作和修辞学

Critical Reading and Rhetoric

批判性阅读和修辞

Seminar in Data Science

数据科学研讨会

Calculus

微积分

Statistics

各种统计课

Machine Learning and Data-Mining

机器学习 & 数据挖掘

Design and Analysis of Algorithms

算法的艺术

Information Visualization

信息可视化

UCI 最引以为豪的writing program也是特色之一，在我司之前做的各高校数据项目分析里，Communication and Story Telling也是极其重要的一点，所以UCI在这件事情上是完胜的。其他的呢，公正地说其实和各个program的差距不大，都是以编程和统计为主，然后上一些高阶的计算机课。但Irvine真的是个太好的地方，如果你还在纠结要去哪里读数据科学，Welcome to Irvine！

【研究生篇】

研究生的数据科学Program可就是百花齐放了，要是选起来卡里能选一天一夜，所以卡里先简要地给大家介绍几个厉害出名的Program，然后再说几个比较常见的项目，让大家能够对研究生项目的有所了解。

首当其冲地，让我列出一溜全美最6的数据类研究生项目,

# 排名不分先后，这只是卡里看了一堆文章以后罗列出来的，没有学校塞钱给我好么？

世界包含的多得难以想象的数字化信息变得更多更快，从商业到科学，从政府到艺术，这种影响无处不在。科学家和计算机工程师们给这种现象创造了一个新名词：“大数据”。所谓大数据，那到底什么是大数据，他的来源在哪里，定义究竟是什么呢？

一：大数据的定义。

1、大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

2、大数据技术，是指从各种各样类型的大数据中，快速获得有价值信息的技术的能力，包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。

3、大数据应用，是指对特定的大数据集合，集成应用大数据技术，获得有价值信息的行为。对于不同领域、不同企业的不同业务，甚至同一领域不同企业的相同业务来说，由于其业务需求、数据集合和分析挖掘目标存在差异，所运用的大数据技术和大数据信息系统也可能有着相当大的不同。

二：大数据的类型和价值挖掘方法

1、大数据的类型大致可分为三类：

1)传统企业数据：包括消费者数据，传统的ERP数据，库存数据以及账目数据等。2)机器和传感器数据：包括呼叫记，智能仪表，设备日志，交易数据等。3)社交数据：包括用户行为记录，反馈数据等。2、大数据挖掘商业价值的方法主要分为四种：1)客户群体细分，然后为每个群体量定制特别的服务。2)模拟现实环境，发掘新的需求同时提高投资的回报率。3)加强部门联系，提高整条管理链条和产业链条的效率。4)降低服务成本，发现隐藏线索进行产品和服务的创新。

三：大数据的特点

具体来说，大数据具有4个基本特征：

1、是数据体量巨大

2、是数据类别大和类型多样3、是处理速度快4、是价值真实性高和密度低

四：大数据的作用

1、对大数据的处理分析正成为新一代信息技术融合应用的结点移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。2、大数据是信息产业持续高速增长的新引擎面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。3、大数据利用将成为提高核心竞争力的关键因素各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费者提供更加及时和个性化的服务;4、大数据时代科学研究的方法手段将发生重大改变，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

五：大数据的商业价值

1、对顾客群体细分

2、模拟实境3、提高投入回报率4、数据存储空间出租5、管理客户关系6、个性化精准推荐7、数据搜索

六：大数据对经济社会的重要影响

1、能够推动实现巨大经济效益2、能够推动增强社会管理水平3、如果没有高性能的分析工具，大数据的价值就得不到释放

机构共分中央、省、市、县、乡和村（城市里相对应的是社区居委会）六级。任何一级都是党政两套班子匹配，因而六级机构也就意味着书记也分六个层级。

根据行政区划统计，全国共有省级行政区三十四个，市级行政区三百三十三个，县级行政区两千八百六十一个，乡级行政区四万四千_六十七个，村委会六十六点三万个，城市社区居委会七点 七万个。

这样，全国有省委书记34个，市委书记333个，县委书记2861个，乡党委书记44067个，村委书记（村支书）663000个，城市社区居委会书记77000个。这一组数字加在一起，一共是787295个。这近79万个书记只是浮在机构表面的书记数，还有比这个数目大得多的书记们隐藏在这个庞大系统的稠密褶皱里。除此之外，还有更大数量的书记群体， 即企业里的书记和事业单位里的书记人数。

先从中央党政系统计算起。中央机构分中央和国务院两套班子，中央下设二十一个、国务院下设五十二个部级或副部级机构，加在一起是七十三个。这七十三个部级或副部级机构就有七十三个同级别的书记。

此外，全国人大、全国政协、最高人民法院、最高人民检察院、团中央、全国妇联和全国总工会，这七个机构，各有其书记，共七个书记。与上述七十三个书记加在一起，一共是八十个书记。这七个机构，每一个机构的建制规模（不是指行政级别）都相当于一个部。

这即是说，在首都部级规模的机构，共有八十个。每个部级规模的政府机构下面，各有从几个到几十个不等的局级机构。比如统战部下设九个局级机构，中国人民银行下设十八个局级机构，农业部是二十个，教育部十九个，卫生部十五个，劳动和社会保障部十五个，司法部十六个。

外交部复杂一些，北京本部下设二十八个下属机构，另有二百多个驻外使领馆，还有十个驻外社团，加在一起总共约有二百五十个下属机构。平均按每部下设二十个局级机构计算，八十个部共有一千六百个局级机构。一个局有一个局级书记，于是中央八十个部级机关里也就有了1600个局级书记。

局下面设处，一千六百个局，平均每个局设八个处，就共有12800个处级书记。至于有些大处下可能还设科，这里就忽略不计了。80个部级书记，加上 1600个局级书记，加上12600个处级书记，一共是14480个书记。这即是说，仅首都北京中央机关里就有14480个党委书记。

再看省级机关里藏掖的书记数，市级机关里的书记数再探讨企业里的书记数。国有企业和集体企业里都有党组织建制，依据二__三年的资料，全国国有企业有十五万家，那就是15万个书记。

按每家国有企业下设二十个分支机构计算，十五万家国有企业里分支机构的书记数就是300万个。合计国有企业书记总数是350万个。全国城镇集体企业是六百万家，就是600万个书记。有些大的城镇企业下面分支机构的书记数不计。

《南方周末》的文章说《大量二线干部出任私企党委书记》，《中华工商时报》发表的《二__五年中国私营企业调查报告说，全国国有企业、集体企业和私营企业里共有党委书记960万个，如果按一正二副计算，全国共有正副书记4890万个。按每人每年年薪五万，即24000亿，据相关部门估算全国实现免费医疗仅需1600亿。

全国这些书记，就有四千多万人，相当于一个欧洲大国了，全靠老百姓养着。

还没有统计教育、卫生等事业单位机构的书记，还有民办学校和民办医院等机构的公派书记也沒统计。

这是一组吓人的数字。还不止这个数，因为每个书记还要配备相当数量的秘书、占有相应的办公室、轿车（当然还得配备司机）……这还不包括军队和武警……这都要靠纳税人养活…（媒体曾报道过，一个县里就有100多个委办局机构）。

我们经常听领导们说，我们国家和地区财政是吃饭财政，意思即只够养养干部。老百姓哪能搞什么福利？怎能改善生活？

什么是大数据？

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

大数据有何作用？

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

了解了大数据的概念和作用，我们先来看一下商业巨头们如何利用大数据吧。

一、谷歌公司（google Inc）

第一个 ：ReCAPTCHA案例。

这个虽然是被谷歌收购的，但是，具有典型的谷歌思维。为了解决垃圾邮件和网络机器人的问题，冯.安发明了验证码的解决方案。如果只限于此，也就没有特别可以称道的，但是他意识到每天有这么多人要浪费10秒钟的时间输入这堆恼人的字母，而随后大量的信息被随意地丢弃时，他开始寻找能使人的计算能力得到更有效利用的方法。 他想到了一个继任者，恰如其分地将其命名为ReCaptcha。和原有随机字母输入不同，人们需要从计算机光学字符识别程序无法识别的文本扫描项目中读出两个单词并输入。其中一个单词其他用户也识别过，从而可以从该用户的输入中判断注册者是人;另一个单词则是有待辨识和解疑的新词。为了保证准确度，系统会将同一个模糊单词发给五个不同的人，直到他们都输入正确后才确定这个单词是对的。在这里，数据的主要用途是证明用户是人，但它也有第二个目的：破译数字化文本中不清楚的单词。ReCaptcha的作用得到了认可，2009年谷歌收购了冯·安的公司，并将这一技术用于图书扫描项目，再后来，谷歌街景也开始使用这项技术。把验证码和OCR需求巧妙结合起来，这展示了思维的威力，实现了ReCaptcha技术提供者和使用者的双赢，技术提供者利用OCR识别获得了自己的受益，使用者不需要任何付费(互联网免费思维)，也愿意使用，对于用户其实也没有影响，没有增加额外的工作。上研究生的时候，就研究OCR汉字识别问题，识别率始终是个问题，对于手写就更低了，要花费大量人力来解决，并且，人工识别工作是非常无聊，没有办法来保障质量。再想起12306的验证码，更令人无语了。我们浪费了多少资源?我们有多少资源可用充分来利用?

第二个：拼写检查纠错的案例。

我们都经常使用微软的Word，其中就有拼写检查纠错功能，微软实现这个功能，采用的是传统的软件思维，也就是利用规则和词库来解决，这个需要不断耗费人力进行规则和词库的升级，对于不同的语言，耗费更是巨大。谷歌解决这个方法，用的相对巧妙，在搜索的时候，当你输入一个错误的词时，会给一个提示，要找的是不是建议的词，如果用户确认后，谷歌就进行记录处理，后面，再经过一些算法处理，经过大量的数据学习，各个拼写检查纠错就越来越好，并且，这个后续维护成本很低， 效果越来越好。其实，谷歌翻译也使用了类似的思路，虽然前期算法，包括大数据处理花费了比较多，后续，基本实现了自动化，系统会越来越强，维护升级成本很低，项目就变成可持续发展。

第三个：对流感的预测

2009年，一种新型的流感病毒h1n1在全球迅速传播开来。美国，和世界上所有的国家一样，要求医生们发现案例市告知疾病控制与预防中心。但是，人们并不是在第一时间去医院检查，而是会有一段时间的延迟，消息要传达到疾控中心也要时间，从而造成一定的滞后性。

在该病毒爆发的几周前，谷歌公司的工程师们在《自然》杂志上发表了一篇论文。文中解释了谷歌为什么能够预测冬季流感的传播：不仅是全美范围内，而且具体到特定的地区和州。

谷歌如何做到的呢？数据。

谷歌通过观察人们在网上的搜索记录来完成这个预测，谷歌保存了多年来所有的搜索记录，每天都会超过30亿条的搜索指令。如此庞大的数据资源才能支撑谷歌完成这项工作。

二、facebook。

Facebook（脸书）是美国的一个社交网络服务网站 ，创立于2004年2月4日，总部位于美国加利福尼亚州帕拉阿图，2012年3月6日发布Windows版桌面聊天软件Facebook Messenger ，主要创始人马克·扎克伯格。它是世界排名领先的照片分享站点，截至2013年11月每天上传约3.5亿张照片、截至2012年5月，拥有约9亿用户。Facebook的总部设在硅谷的门洛帕克（Menlo Park）——1 Hacker Way 从2006年9月11日起，任何用户输入有效电子邮件地址和自己的年龄段，即可加入。在2015年8月28日，单日用户数突破10亿。

fancebook，拥有这庞大数据，同时它也不会浪费这些数据。Facebook通过用户社交网络图得知人们的喜好、

说完了，我们转过头看一下我们国内。

大数据现今在国内也是蓬勃发展，让我让数据说话！

大数据企业发展态势

态势一：2017年，我国大数据企业依旧整体呈现“金字塔”状的实力分布，从金字塔上层来看，我国大数据企业发展指数高于50的企业数量占比仅为7.4%，与去年相比，中高区间的龙头企业发展指数均有不同程度的提升，体现出“强者恒强”的发展势头。2017年，随着新晋企业数量增多、初创企业发展活力不断提升，金字塔根基更趋稳固；专精特新的独角兽企业发展势头迅猛，成为我国大数据企业发展的中坚力量。

态势二：2017年，我国大数据企业基础画像指数呈现较为明显的三重集团趋势，可以分为领军企业（数量占比9.23%，指数跨度从62.50到10.46）、中坚企业（数量占比29.49%，指数跨度从9.89到1.00）、上升企业（数量占比为50.16%，指数跨度从0.98到0.001）三类企业。从构成占比上看，2017年，我国大数据领军企业占比基本维持不变，而中坚企业占比显著增加，上升企业比例对比2016年有较为明显的减少。

态势三：2017年，我国大数据企业技术研发指数呈现“龙头领先、中小微主体跟进”总体趋势，技术研发指数超过10的龙头企业数量占比为9.85%，低于10的企业占比达到90.15%。大数据企业技术研发指数平均值为4.06，同比2016增长了3.18%，其中，以华为、中兴等通信企业和BAT等互联网企业为代表的TOP20龙头企业的技术研发指数同比2016年增长了5.73%。

态势四：2017年，我国大数据企业市场拓展指数呈现出“龙头带动、全面壮大”的分布格局，我国大数据企业市场拓展指数小于30的企业数量占到92.88%，指数超过30的大数据企业占比为7.12%。与2016年相比，龙头企业依旧强势引领大数据市场，中间企业及长尾企业亦积极拓展市场版图，行业整体呈稳步发展态势。

态势五：2017年，大数据企业尤其是骨干企业发展集聚态势进一步强化，绝大多数企业集聚在北京、天津、山东、江苏、浙江、上海、广东、福建等东部沿海信息技术产业基础较好的省市。与2016年相比，东北、中西部等重点城市，以及乌鲁木齐、呼和浩特等地的大数据企业集聚化趋势日益明显。

态势六：2017年，我国产业环节大数据企业聚焦数据采集、数据存储、数据预处理、数据分析、数据可视化、数据流通，跨度从19.48到6.87，发展指数相对比较均衡，数据分析环节企业发展指数水平相对突出，发展指数达到19.48，数据大数据分析挖掘环节必将涌现出更多的独角兽企业。与2016年相比，大数据分析环节指数增长3.8，其他环节指数均有不同程度下降。

态势七：2017年，我国重点行业大数据产业企业聚焦政务、工业、健康医疗、交通、农业、金融、教育、能源等17个行业领域，企业平均发展指数为23.36，最高的安防大数据企业发展指数达到35.71，最低的能源大数据企业发展指数为16.89。与2016年相比，主要行业大数据企业平均发展指数同比增加了0.25，大多数行业发展指数都稳中有进，除安防领域初步定型，同比2016年降低了4.01，其他重点行业领域指数均有不同程度上升。

态势八：2017年，我国特色细分领域大数据企业主要分为三大阵营，与2016年相比，三大阵容的特色细分领域发生了明显变化。一是从事人工智能相关的龙头企业处于第一阵营，平均发展指数维持在21左右；二是从事工控安全、数据库、区块链、征信分析、商业智能BI、数据中心IDC、数据营销、基因测序等10类细分领域大数据相关业务的龙头企业处于第二阵营，平均发展指数处于13.97到17.78之间；三是以虚拟现实、开源技术和车联网为代表的第三阵营，整体发展指数相对略低，处于12左右。

进过调研分析，我们可以作出预判

2018年我国大数据产业发展的主要趋势有：

1、产业将持续保持快速增长态势。预计2018年我国大数据核心产业规模将突破5700亿元。

2、融合渗透效应向更深层次延伸。延伸方向既包括经济运行、社会生活等应用领域，也包括物联网、人工智能等关联技术。

3、制造业数字转型作用日益凸显。以大数据驱动制造业数字化转型的新模式、新业态将不断涌现。

4、技术创新仍是产业发展主基调。大数据领域核心关键技术将加速突破，跨学科、跨领域交叉融合技术研究将成为发展重点。

5、产业集聚特色化发展态势逐步显现。国家大数据综合试验区建设的不断深入，一批省级大数据产业集聚区将进一步优化资源配置、形成集聚效应、发挥辐射带动作用。

6、产业生态体系迈入成熟完善阶段。大数据相关政策将加快落地实施，更多创新性政策将加快出台，大数据产业发展环境将进一步优化。

区域大数据产业发展态势：

态势一：2017年，国家大数据综合试验区依然引领产业发展，其所在区域的大数据产业发展总指数在全国大数据产业发展总指数的占比达37.54%。试验区内各省市指数较去年增幅均值为6.23，高于全国增幅均值的5.78，大数据产业发展速度高于全国平均水平。

态势二：2017年，大数据产业集聚发展效应进一步凸显，长三角地区、珠三角地区、中西部地区和东北地区大数据产业集聚发展格局基本形成。

态势三：2017年，北京、江苏、广东、浙江、上海等五省市成为大数据产业发展第一梯队，其大数据发展总指数在全国大数据发展总指数的占比高达26.52%，领先的优势地位明显。浙江省大数据产业发展指数较去年增长12.71，成为全国大数据产业发展指数增幅最高城市。

态势四：2017年，我国东部、西部、中部、东北四个分区产业发展差异化明显。东部地区整体发展水平最高，大数据产业发展指数增幅均值为7.39，远超全国平均水平5.78，天津、河北、海南排名上升；西部地区未来仍有巨大发展空间，重庆大数据产业发展指数较去年增长10.12，增幅仅次于浙江省位列全国第二，宁夏、内蒙古二地成后起之秀；中部地区整体发展速度高于西部和东北，山西发力大数据产业，排名明显提升。东北地区辽宁继续蝉联区域榜首，辐射带动作用逐步凸显。

态势五：2017年，各省市大数据产业发展环境均呈现向好态势，各省市的发展环境平均指数为10.9，较去年提高32.9%，18个省市的发展环境指数高于平均值，占比达到58%，而发展环境指数在去年平均值以上的省市高达30个；同时，江苏、重庆、安徽等地由于组织机制进一步完善、区域信息化水平加速提升等因素影响，较去年排名增速明显。

态势六：2017年，全国各省市大数据产业发展水平均有提升，大数据产业发展总指数为363.9，较去年提升16.8%；

但受数据集聚开放水平、大数据产业规模、大数据企业主体等多种因素共同影响，各省...

数据挖掘是指在大量的数据中挖掘出信息，通过认真分析来揭示数据之间有意义的联系、趋势和模式。而数据挖掘技术就是指为了完成数据挖掘任务所需要的全部技术。金融、零售等企业已广泛采用数据挖掘技术，分析用户的可信度和购物偏好等。大数据研究采用数据挖掘技术，但是数据挖掘中的短期行为较多，多数是为某个具体问题研究应用技术，还无统一的理论。传统的数据挖掘技术在数据维度和规模增大时，所需资源呈现指数级增长，所以对PB级以上的大数据还需研究新的方法。

数据挖掘概述

数据挖掘是近年来伴随数据库系统的大量建立和万维网的广泛应用而发展起来的一门技术。数据挖掘是交叉性学科，它是数据库技术、机器学习、统计学、人工智能、可视化分析、模式识别等多门学科的融合，如下图所示。

数据挖掘的几个概念

数据挖掘

数据挖掘是指从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含其内的、人们实现所不知的，但又是有潜在价值的信息和知识的过程。几点说明如下。

数据挖掘涉及数据融合、数据分析和决策支持等内容。数据源必须是真实的、大量的、含有噪声的、用户感兴趣的数据。发现的知识要可接受、可理解、可运用，并不要求发现放之四海而皆准的知识，仅支持特定的问题。数据是知识的源泉，将概念、规则、模式、规律和约束等视为知识，这就好像从矿石中采矿或淘金一样，从数据中获取知识。原始数据可以是结构化数据，如关系型数据库中的数据等，也可以是非结构化数据，如文本、图形和图像等，还可以是半结构化数据，如网页等。挖掘知识的方法可以是数学的方法，也可以是非数学的方法；可以是演绎的方法，也可以是归纳的方法。挖掘的知识具有应用的价值，可以用于信息管理、查询优化、决策支持和过程控制等，还可以用于数据自身的维护。数据挖掘是一门交叉学科，将人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持。在需求推动下，不同领域的研究者，尤其是数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面的知识融合后，形成新的研究热点。

数据的挖掘首先是搜集数据，数据越丰富越好，数据量越大越好，只有获得足够的高质量的数据，才能获得确定的判断，才能产生认知模型，这是量变到质变的过程。由此产生经验，经验的积累就能产生有价值的判断。认知模型是渐进发展的模型，当认识深入以后，将长生更加抽象的模型与许多猜想，通过猜想再扩展模型，从而达到深度学习和深度挖掘。

2. 数据挖掘分类

数据挖掘可以分为两类：直接数据挖掘和间接数据挖掘。

（1）直接数据挖掘

直接数据挖掘的目标是利用可用的数据建立一个模型，利用这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中标的属性，即列）进行描述。分类、估值、预测属于直接数据挖掘。

（2）间接数据挖掘

间接数据挖掘目标中没有选出某一具体的变量，用模型进行描述，而是在所有的变量中建立起某种关系。相关性分组或关联规则、聚类、描述和可视化以及复杂数据类型挖掘。

3. 数据挖掘技术

数据挖掘技术是数据挖掘方法的集合，数据挖掘方法众多。根据挖掘任务可将数据挖掘技术分为预测模型发现、聚类分析、分类与回归、关联分析、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现、离群点检测等。根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web。根据挖掘方法可分为机器学习方法、统计方法、神经网络方法和数据库方法。机器学习方法中，可细分为归纳学习方法（决策树、规则归纳等）、基于范例学习、遗传算法等。统计方法中，可细分为回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、费歇尔判别和非参数判别等）、聚类分析（系统聚类、动态聚类等）、探索性分析（主元分析法、相关分析法等）等。神经网络方法中，可细分为前向神经网络（BP算法等）、自组织神经网络（自组织特征映射、竞争学习等）等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。

数据挖掘应用了来自其他一些领域的思想与算法，主要包括：

统计学的抽样、估计和假设检验。人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。最优化、进化计算、信息论、信号处理、可视化和信息检索。

其他一些领域的技术也起到重要的支撑作用，需要数据库系统提供有效的存储、索引和查询处理支持。高性能计算技术、并行计算技术、分布式技术也能帮助处理数据，当数据不能集中到一起处理时更是至关重要。