一、大数据应用思维

【例1】

产品经理给大数据部门提了个需求：我想知道所有用户的标签，比如哪些用户喜欢时尚类型的微博、哪些用户是单身狗等，好给这些人针对性推阿里巴巴的广告，而且很急，下个月新版本就要上线。

大数据部门的程序员们收到需求之后，一分析，数据有好几百TB，一台机器跑要跑7个月（200多天），所以得用分布式计算。于是搞了100台服务器，并把这100台服务器分成两部分，一部分有90台，叫Master，负责划分数据，分配数据处理任务；一部分有10台，叫Worker，负责归并数据块，计算出最终结果。

服务器搭建好了，架构弄好以后，程序员开始分头写程序，一部分负责写数据文件的划分，把文件分成一小块一小块来处理；一部分负责写计算任务调度，就是把划分好的数据文件分配到90台Master服务器中；一部分负责写归并处理程序，部署到剩下的10台Worker服务器，接收那90台服务器传过来的数据，并计算结果；一部分负责写出错检测，检查哪些机器挂了导致计算任务停止了，一旦发现出错了，把计算任务分配到其他正常的服务器上计算。

10台Worker服务器根据1，2，3...10，进行了编号，假设每个人的都有一个微博ID（是数字）,按照微博ID的个位数来进行划分，比如我ID是 1001，那我的处理结果会在1号服务器，ID是100213，那么处理结果就在3号服务器。

假设上面的流程都正常，因为机器多了，原本需要200多天的任务，有了100台机器，结果3天就跑完了！得到了这样的微博用户特征（@大师兄[单身概率 88%，科技工作者概率90%，性别男概率100%，本科毕业概率81%，收入水平5000元/月概率 10% ...]）。

二、数据处理的流程

大数据的数据处理这件事用一种非技术的角度来看的话，可以按处理顺序分为三个部分，第一个部分是数据采集，第二个部分是数据存储，第三个部分是数据分析，这也是大数据搭建的基本产品模型。

1、数据采集

● 基本原则

全：多种源（客户端、服务端、数据库等），完善的数据源（零售、C端、电商、供应链等）全量而且非抽样

细：Who、When、Where、How、What

数据采集最重要的就是数据源，数据源好，后面的事情都很容易。但如果数据源就有问题或是太差不全之类的，后面有些问题用再复杂的算法可能都解决不了，可能都是很难得到正确的结论。所以数据采集处理流程有两个基本的原则，一个是全，一个是细。

● 全：就是说我们要拿多种数据源，不能说只拿一个客户端的数据源，服务端的数据源没有拿，数据库的数据源没有拿，做分析的时候没有这些数据你可能是搞歪了。大数据里面讲的是全量，而不是抽样，因为数据之间可能有很大差异。比如纵向里，做全国零售数据分析的时候，不能只把四川或者北京的拿来分析，因为它一定代表不了黑龙江、甘肃等地方，所以必须要全量分析全国数据。横向里，我们在分析某个商品的总的销售情况的时候，我们除了分析线下零售数据还有需要C端外送数据和电商数据，因为一个东西可能在公司的多个业务系统上销售。所以对于多个业务系统的公司，需要每个业务系统涉及的数据都要足够全，不能有任何一个系统有缺失。

● 细：其实就是强调多维度，在采集数据的时候尽量把每一个的维度、属性、字段都给它采集过来。比如：像 where、who、how 这些东西给它替补下来，后面分析的时候就跳不出这些能够所选的这个维度，而不是说开始的时候也围着需求。根据这个需求确定了产生某些数据，到了后面真正有一个新的需求来的时候，又要采集新的数据，这个时候整个迭代周期就会慢很多，效率就会差很多，尽量从源头抓的数据去做好采集。

● 数据清洗：在数据采集过程种需要对源数据做清洗处理。其实也是对数据做加工的过程，确保命名约定，编码结构，属性维度等一致性。因为本身的源数据会存在垃圾数据，本身也是杂乱的没有很好的逻辑，数据清洗的过程就是让数据更具逻辑性，更干净有序的存储。

2、数据存储

①、数据建模

数据建模指的是对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。 将经过系统分析后抽象出来的概念模型转化为物理模型后，在visio或erwin等工具建立数据库实体以及各实体之间关系的过程（实体一般是表）。在软件工程中，数据建模是运用正式的数据建模技术，建立信息系统的数据模型的过程。（百度百科）

数据模型就是对现实世界的一个抽象化的数据的表示。大数据的数据建模则是基于大数据本身的数据量、数据特征、业务需求、还有自身分析重点和目标做的数据模型。我们可以针对分析的需求对数据重新进行解码，它内容可能是一致的，但是我们的组织方式改变了一下。就拿用户行为这块数据来说，就可以对它进行一个抽象，然后重新把它作为一个判断表。数据建模时常常考虑的有两个概念，一个是维度，一个是指标

通常各个业务系统，一般前端做一个请求，然后对请求经过处理，再更新到数据库里面去，数据库里面建了一系列的数据表，数据表之间都是很多的依赖关系。这些表一个业务项发展差不多一年以上它可能就牵扯到几十张甚至上百张数据表，然后把这个表直接提供给业务分析人员去使用，理解起来难度是非常大的。数据建模则可以把这些关系重构，让业务人员更容易理解。

②、数据仓库

● 面向主题：数据仓库是围绕着一些主题，如顾客，供应商，产品，销售等创建的。数据仓库关注决策者的数据建模与分析，排除对决策无用的数据，提供特定简单明确的数据视图。

● 集成：构造数据仓库时，数据来源是多种异构的数据源，使用数据清洗和数据集成技术，确保命名约定，编码结构，属性维度等一致性。

● 伴随时间变化：数据仓库存储从时间维度提供信息，所以每一条数据必须包含时间维度，同时也就需要各个业务系统在建表时加入“创建时间、修改时间、创建人、修改人、是否删除”五个字段

● 非易失：数据仓库不同于普通的业务应用数据，它跟操作环境下的应用数据是分离的，所以它不需要参与事务处理和并发控制。通常它只需要两种数据访问：数据的装入（抽取）和数据访问，不存在数据更新或者数据删除，所以数据修改时需要加入数据修改时间、修改人，数据删除时在数仓标记数据已经删除。

数据仓库在创建的时候需要分库和分表：创建表时根据数据清洗阶段进行分库，根据主题域进行分表。

③、数据集市

数据集市(Data Mart) ，也叫数据市场，数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。数据中心的重点就在于它迎合了专业用户群体的特殊需求，在分析、内容、表现，以及易用方面。数据中心的用户希望数据是由他们熟悉的术语表现的。

用通俗的话说数据仓库是为数据集市提供服务，在数据仓库里，每个数据单元都与特定的时间相关。数据仓库包括原子级别的数据和轻度汇总的数据，是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策。而数据集市就是数据仓库的一个子集，他主要面向部门级业务，并且只面向某个特定的主题。为了解决灵活性与性能之间的矛盾，数据集市就是数据仓库体系结构中增加的一种小型的部门或工作组级别的数据仓库。数据集市存储为特定用户预先计算好的数据，从而满足用户对性能的需求。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。

在数据结构上，数据仓库是面向主题的、集成的数据的集合。而数据集市通常被定义为星型结构或者雪花型数据结构，数据集市一般是由一张事实表和几张维表组成的。

数据集市特点：

● 数据集市的特征包括规模小。

● 有特定的应用。

● 面向部门。

● 由业务部门定义、设计和开发。

● 业务部门管理和维护。

● 能快速实现。

● 购买较便宜。

● 投资快速回收。

● 工具集的紧密集成。

● 提供更详细的、预先存在的、数据仓库的摘要子集。

● 可升级到完整的数据仓库。

3、数据分析

当数据采集回来并存储好以后就可以在这基础上运用这些数据来做数据分析了，对于互联网产品常用的分析方式有四种：

①、多维度分析： 多维事件的分析，对不同维度之间的组合、关系进行分析。

②、漏斗分析：对于电商、订单相关的这种行为的产品来说非常重要，要看不同的渠道转化这些东西，一个用户从做第一步操作到后面每一步操作，可能是一个杂的过程。

③、留存分析：用户来了之后我们希望他不断的来，不断的进行购买，这就是留存。

④、回访分析：回访是留存的一种特别的形式，可以看他一段时间内访问的频次，或者访问的时间段的情况

上面说的四种分析结合起来去使用，对一个产品的数据支撑、数据驱动的这种深度就要比只是看一个宏观的访问量或者活跃用户数就要深入很多。

每一个为人类创变而萌生的念头都是最高贵的种子，大家好，这里是高贵的种子。

上周末，英美两国的媒体，爆出了一则与Facebook脸书有关的大新闻。报道称，一家名叫Cambridge Analytica剑桥分析的数据分析公司，通过为脸书平台开发的性格小测试程序，收割了超过5000万的用户数据。并且，利用这5000万用户，操纵了2016年的美国大选。接着便有新闻指出小扎道歉：我们错了！对Facebook数据泄露事件负有责任，不配为用户提供服务，他自己很后悔，将来一定会改正，他还保证不再发生类似事件，有新闻称美国联邦贸易委员会正在开展的调查，若属实，Facebook将面临2000000000000美元罚款！（事件时间线下图）

那么它们如何抓取用户信息，又是如何操纵大选的大概过程：

大概意思就是，这个公司针对每个用户的特点，尤其是那些偏中立不知道投谁的选民，投放洗脑政治新闻，进而最终将川普推向大选胜利。利用大数据给人洗脑？还影响选举？小小的一个脸书账号也能搞出这么多事儿？2014年夏天，这个公司和一位剑桥的研究人员合作，展开了一项研究，抓取了大约32万用户的核心数据，这些用户的喜好，性格和交友圈信息，一览无遗。

我举个简单的例子，我们都知道希拉里是赞同接纳难民的，如果据数据判断，一个用户他经常点赞批判接纳难民的相关内容，或者从该用户的交往人群，信仰等线索蛛丝马迹，大概推断此人反移民或者不支持接纳移民，那么对他的主页频繁推送希拉里“接纳移民”的观点新闻，势必会让该用户产生对希拉里的反感。喜欢耸动新闻？没问题，专门给你发送“震惊”类的内容，一次管饱。当用户在潜移默化中，每天被推送阅读这些定制类的新闻时，你很难说他们不被影响。在大数据帮助下，川普团队潜移默化地影响了很多选民，这也成了他登上总统之位的强效助力。

事实上，Facebook这种事，影响的不止是选举这样的大事件。大数据还在操纵我们每个人生活的方方面面。这些公司做的第一步，就是收集数据。我们在网络上的所有行为，每一次点赞，每一次分享，每一次浏览，都将成为被记录分析的数据当代人手机电脑不离手，只要连接了网络，我们就在留下痕迹。搜索引擎成了我们联通网络的大门，每次搜索，都会被看门的数据公司，记录下我们往哪个方向走。搜索过游戏，就给你推荐游戏；消费过护肤用品，就给推送同类型产品；转发过汽车新闻，就给推荐汽车。比如有东西加到购物车还没结账，再进入网站时购物车自动恢复，或者看的小说看到一半，再打开网站时自动找到上次读到的位置。本来这项技术是为了提供更好的客户体验，让大家浏览网站时，不需要一次把所有的事情都做完。然而，这个技术被广告商盯上了，掌握了我们网上的一举一动。通过读取cookie，广告商可以知道我们看过什么网页，看了多久，操作到什么地步。除了读取cookie，数据公司还会收集用户的个人基础信息、点赞、社交圈、消费习惯和生活习惯，也就是Facebook这种公司从我们身上拿到的资料。集齐了他们需要的信息，这些公司就开始对这些数据进行分析。这个分析的过程，叫做用户画像。用社交网站上的各种资料，配合用户在网上的浏览信息建立模型，用模型运算预测用户可能发生的行为。广告商根据这些分析结果，就可以预测我们可能会买什么，进行定向投放广告。它们不仅想知道我们搜索了什么，还想了解我们的各个方面乖乖让用户交出个人信息不是一件容易的事，我们又不是傻子，凭什么给这些公司我们的资料。但是事实证明，道高一尺魔高一丈，为了搞到数据，他们想出各种办法，哄得用户乐呵呵地自己奉上隐私数据。像剑桥分析给每个用户5块钱，用户不仅把自己的东西都交代了，还给了他们权限去了解自己的朋友们。想想我们，是不是也有曾经为了返券优惠，提供额外资料给某些app呢？

就像是我们开始说的那样：大数据，比你更了解你自己。

在大数据面前，我们每一个人都是赤裸的，待宰羔羊。这次Facebook操作选举的事件，只是揭露了大数据时代危险的冰山一角。原来，我们看到的世界，不过是大数据为我们精心定制的一隅天地。大数据，不止了解我们，掌握着我们一切的信息，就像马云他知道那个省妇女的胸大。能给我们安利心动的产品，提供我们需要的服务，还能让我们觉得我们看到了想看的一切。大数据分析出我们的三观，平台可以按照我们的三观偏好推送信息。当我们毫不设防，我们的视野被控制在大数据为我们预设的轨道里，小到消费购物，大到政治宗教，我们最终沦为大数据的提线木偶。

了解你，洞悉你，甚至比你自己都清楚你。大数据时代，我们还有何处可逃？大数据下，我们都是一样的赤裸裸，我们经常接到各类保险的推销电话，我们的信息在大数据情况下，都是一样的赤裸裸，我们能做什么呢，我们别在朋友圈去各种秀；我们把相册加密码；但在现在这大数据时代，我们离不开电脑，手机，更离不开网络，所以我们需要国家建设网络安全个人信息的保护制度是迫在眉睫的。你们怎么认为呢，欢迎留言讨论。

大数据时代的来临，使得企业在业务运作的过程中产生的数据量呈现出了爆发式的增长。各行各业都面临着海量数据的分析和处理问题。如何运用大数据技术从海量数据中挖掘出有价值的信息，将是今后企业发展的一个巨大挑战。我们在迎接挑战的同时，也可以了解、学习国内外大数据应用中的经典案例，希望能对我们有所启示。

01 塔吉特（Target）百货孕妇营销分析

最早关于大数据的故事发生在美国第二大超市塔吉特（Target）百货。孕妇对于零售商来说一直是个含金量很高的顾客群体，但是她们一般都会去专门的孕妇商店。人们一提起塔吉特，往往想到的都是日常生活用品，却忽视了塔吉特也有孕妇需要的一切。在美国，出生记录是公开的，等孩子出生了，新生儿母亲就会被铺天盖地的产品优惠广告包围。如果等到孩子出生再行动就晚了，因此零售商必须赶在孕妇怀孕前期就行动起来。

塔吉特的顾客数据分析部门发现，怀孕的妇女一般会在怀孕第三个月的时候购买很多无香乳液、无添加的化妆品、护肤品等等。几个月后，她们会购买镁、钙、锌等营养补充剂。根据数据分析部门提供的模型，塔吉特制订了全新的广告营销方案，在孕期的每个阶段给客户寄送相应的优惠券。结果，孕期用品销售呈现了爆炸性的增长。2002年到2010年间，塔吉特的销售额从440亿美元增长到了670亿美元。大数据的巨大威力轰动了全美。

02 谷歌的意图

如果说有一家科技公司准确定义了“大数据”概念的话，那一定是谷歌。根据搜索研究公司comScore的数据，仅2012年3月一个月的时间，谷歌处理的搜索词条数量就高达122亿条。谷歌的体量和规模，使它拥有比其他大多数企业更多的应用大数据的途径。

谷歌搜索引擎本身的设计，就旨在让它能够无缝链接成千上万的服务器。如果出现更多的处理或存储需要，抑或某台服务器崩溃，谷歌的工程师们只要再添加更多的服务器就能轻松搞定。将所有这些数据集合在一起所带来的结果是：企业不仅从最好的技术中获益，同样还可以从最好的信息中获益。下面选择谷歌公司的其中三个亮点。

谷歌意图：谷歌不仅存储了搜索结果中出现的网络连接，还会储存用户搜索关键词的行为，它能够精准地记录下人们进行搜索行为的时间、内容和方式，坐拥人们在谷歌网站进行搜索及经过其网络时所产生的大量机器数据。这些数据能够让谷歌优化广告排序，并将搜索流量转化为盈利模式。谷歌不仅能追踪人们的搜索行为，而且还能够预测出搜索者下一步将要做什么。用户所输入的每一个搜索请求，都会让谷歌知道他在寻找什么，所有人类行为都会在互联网上留下痕迹路径，谷歌占领了一个绝佳的点位来捕捉和分析该路径。换言之，谷歌能在你意识到自己要找什么之前预测出你的意图。这种抓取、存储并对海量人机数据进行分析，然后据此进行预测的能力，就是数据驱动的产品。

03 沃尔玛的“啤酒加尿布”

总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛拥有世界上最大的数据仓库系统。为了能够准确了解顾客在其门店的购买习惯，沃尔玛对顾客的购物行为进行了“购物篮分析”。沃尔玛数据仓库里集中了其各门店的详细原始交易数据，在这些原始交易数据的基础上，沃尔玛利用NCR数据挖掘工具对这些数据进行分析和挖掘，可以很轻松地知道顾客经常一起购买的商品有哪些。一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！”

这是数据挖掘技术对历史数据进行分析的结果，反映了数据内在的规律。沃尔玛派出市场调查人员和分析师对这一数据挖掘结果进行调查分析。经过大量实际的调查和分析，揭示了隐藏在“尿布与啤酒”背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%-40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。

既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起，结果是尿布与啤酒的销售量双双增长。

04 中国移动的数据化运营

通过大数据分析，中国移动能够对企业运营的全业务进行针对性的监控、预警、跟踪。大数据系统可以在第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。

客户流失预警：一个客户使用最新款的诺基亚手机，每月准时缴费、平均一年致电客服3次，使用WEP和彩信业务。如果按照传统的数据分析，可能这是一位客户满意度非常高、流失概率非常低的客户。事实上，当搜集了包括微博、社交网络等新型来源的客户数据之后，这位客户的真实情况可能是这样的：客户在国外购买的这款手机，手机中的部分功能在国内无法使用，在某个固定地点手机经常断线，彩信无法使用——他的使用体验极差，正在面临流失风险。这就是中国移动一个大数据分析的应用场景。通过全面获取业务信息，可能颠覆常规分析思路下做出的结论，打破传统数据源的边界，注重社交媒体等新型数据来源，通过各种渠道获取尽可能多的客户反馈信息，并从这些数据中挖掘更多的价值。

数据增值应用：对运营商来说，数据分析在政府服务市场上前景巨大。运营商也可以在交通、应对突发灾害、维稳等工作中使大数据技术发挥更大的作用。运营商处在一个数据交换中心的地位，在掌握用户行为方面具有先天的优势。作为信息技术的又一次变革，大数据的出现正在给技术进步和社会发展带来全新的方向，而谁掌握了这一方向，谁就可能成功。对于运营商来说，在数据处理分析上，需要转型的不仅是技巧和法律问题，更需要转变思维方式，以商业化角度思考大数据营销。

05 阿里信用贷款和淘宝数据魔方

中国最大的电子商务公司阿里巴巴已经在利用大数据技术提供服务：阿里信用贷款与淘宝数据魔方。

每天有数以万计的交易在淘宝上进行。与此同时相应的交易时间、商品价格、购买数量都会被记录。更重要的是，这些信息可以与买方和卖方的年龄、性别、地址、甚至兴趣爱好等个人特征信息相匹配。各大中小城市的百货大楼做不到这一点，大大小小的超市做不到这一点，而互联网时代的电商可以做到。

淘宝数据魔方就是淘宝平台上的大数据应用方案。通过这一服务，商家可以了解淘宝平台上的行业宏观情况、自己品牌的市场状况、消费者行为情况等，并可以据此进行生产、库存决策，而与此同时，更多的消费者也能以更优惠的价格买到心仪的宝贝。

而阿里信用贷款则是阿里巴巴通过其掌握的企业交易数据，借助大数据技术自动分析判定是否给予企业贷款，全程不会出现人工干预。截至目前，阿里巴巴已经放贷300多亿元，坏账率约0.3%左右，大大低于商业银行。

什么是大数据？

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

大数据有何作用？

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

了解了大数据的概念和作用，我们先来看一下商业巨头们如何利用大数据吧。

一、谷歌公司（google Inc）

第一个 ：ReCAPTCHA案例。

这个虽然是被谷歌收购的，但是，具有典型的谷歌思维。为了解决垃圾邮件和网络机器人的问题，冯.安发明了验证码的解决方案。如果只限于此，也就没有特别可以称道的，但是他意识到每天有这么多人要浪费10秒钟的时间输入这堆恼人的字母，而随后大量的信息被随意地丢弃时，他开始寻找能使人的计算能力得到更有效利用的方法。 他想到了一个继任者，恰如其分地将其命名为ReCaptcha。和原有随机字母输入不同，人们需要从计算机光学字符识别程序无法识别的文本扫描项目中读出两个单词并输入。其中一个单词其他用户也识别过，从而可以从该用户的输入中判断注册者是人;另一个单词则是有待辨识和解疑的新词。为了保证准确度，系统会将同一个模糊单词发给五个不同的人，直到他们都输入正确后才确定这个单词是对的。在这里，数据的主要用途是证明用户是人，但它也有第二个目的：破译数字化文本中不清楚的单词。ReCaptcha的作用得到了认可，2009年谷歌收购了冯·安的公司，并将这一技术用于图书扫描项目，再后来，谷歌街景也开始使用这项技术。把验证码和OCR需求巧妙结合起来，这展示了思维的威力，实现了ReCaptcha技术提供者和使用者的双赢，技术提供者利用OCR识别获得了自己的受益，使用者不需要任何付费(互联网免费思维)，也愿意使用，对于用户其实也没有影响，没有增加额外的工作。上研究生的时候，就研究OCR汉字识别问题，识别率始终是个问题，对于手写就更低了，要花费大量人力来解决，并且，人工识别工作是非常无聊，没有办法来保障质量。再想起12306的验证码，更令人无语了。我们浪费了多少资源?我们有多少资源可用充分来利用?

第二个：拼写检查纠错的案例。

我们都经常使用微软的Word，其中就有拼写检查纠错功能，微软实现这个功能，采用的是传统的软件思维，也就是利用规则和词库来解决，这个需要不断耗费人力进行规则和词库的升级，对于不同的语言，耗费更是巨大。谷歌解决这个方法，用的相对巧妙，在搜索的时候，当你输入一个错误的词时，会给一个提示，要找的是不是建议的词，如果用户确认后，谷歌就进行记录处理，后面，再经过一些算法处理，经过大量的数据学习，各个拼写检查纠错就越来越好，并且，这个后续维护成本很低， 效果越来越好。其实，谷歌翻译也使用了类似的思路，虽然前期算法，包括大数据处理花费了比较多，后续，基本实现了自动化，系统会越来越强，维护升级成本很低，项目就变成可持续发展。

第三个：对流感的预测

2009年，一种新型的流感病毒h1n1在全球迅速传播开来。美国，和世界上所有的国家一样，要求医生们发现案例市告知疾病控制与预防中心。但是，人们并不是在第一时间去医院检查，而是会有一段时间的延迟，消息要传达到疾控中心也要时间，从而造成一定的滞后性。

在该病毒爆发的几周前，谷歌公司的工程师们在《自然》杂志上发表了一篇论文。文中解释了谷歌为什么能够预测冬季流感的传播：不仅是全美范围内，而且具体到特定的地区和州。

谷歌如何做到的呢？数据。

谷歌通过观察人们在网上的搜索记录来完成这个预测，谷歌保存了多年来所有的搜索记录，每天都会超过30亿条的搜索指令。如此庞大的数据资源才能支撑谷歌完成这项工作。

二、facebook。

Facebook（脸书）是美国的一个社交网络服务网站 ，创立于2004年2月4日，总部位于美国加利福尼亚州帕拉阿图，2012年3月6日发布Windows版桌面聊天软件Facebook Messenger ，主要创始人马克·扎克伯格。它是世界排名领先的照片分享站点，截至2013年11月每天上传约3.5亿张照片、截至2012年5月，拥有约9亿用户。Facebook的总部设在硅谷的门洛帕克（Menlo Park）——1 Hacker Way 从2006年9月11日起，任何用户输入有效电子邮件地址和自己的年龄段，即可加入。在2015年8月28日，单日用户数突破10亿。

fancebook，拥有这庞大数据，同时它也不会浪费这些数据。Facebook通过用户社交网络图得知人们的喜好、

说完了，我们转过头看一下我们国内。

大数据现今在国内也是蓬勃发展，让我让数据说话！

大数据企业发展态势

态势一：2017年，我国大数据企业依旧整体呈现“金字塔”状的实力分布，从金字塔上层来看，我国大数据企业发展指数高于50的企业数量占比仅为7.4%，与去年相比，中高区间的龙头企业发展指数均有不同程度的提升，体现出“强者恒强”的发展势头。2017年，随着新晋企业数量增多、初创企业发展活力不断提升，金字塔根基更趋稳固；专精特新的独角兽企业发展势头迅猛，成为我国大数据企业发展的中坚力量。

态势二：2017年，我国大数据企业基础画像指数呈现较为明显的三重集团趋势，可以分为领军企业（数量占比9.23%，指数跨度从62.50到10.46）、中坚企业（数量占比29.49%，指数跨度从9.89到1.00）、上升企业（数量占比为50.16%，指数跨度从0.98到0.001）三类企业。从构成占比上看，2017年，我国大数据领军企业占比基本维持不变，而中坚企业占比显著增加，上升企业比例对比2016年有较为明显的减少。

态势三：2017年，我国大数据企业技术研发指数呈现“龙头领先、中小微主体跟进”总体趋势，技术研发指数超过10的龙头企业数量占比为9.85%，低于10的企业占比达到90.15%。大数据企业技术研发指数平均值为4.06，同比2016增长了3.18%，其中，以华为、中兴等通信企业和BAT等互联网企业为代表的TOP20龙头企业的技术研发指数同比2016年增长了5.73%。

态势四：2017年，我国大数据企业市场拓展指数呈现出“龙头带动、全面壮大”的分布格局，我国大数据企业市场拓展指数小于30的企业数量占到92.88%，指数超过30的大数据企业占比为7.12%。与2016年相比，龙头企业依旧强势引领大数据市场，中间企业及长尾企业亦积极拓展市场版图，行业整体呈稳步发展态势。

态势五：2017年，大数据企业尤其是骨干企业发展集聚态势进一步强化，绝大多数企业集聚在北京、天津、山东、江苏、浙江、上海、广东、福建等东部沿海信息技术产业基础较好的省市。与2016年相比，东北、中西部等重点城市，以及乌鲁木齐、呼和浩特等地的大数据企业集聚化趋势日益明显。

态势六：2017年，我国产业环节大数据企业聚焦数据采集、数据存储、数据预处理、数据分析、数据可视化、数据流通，跨度从19.48到6.87，发展指数相对比较均衡，数据分析环节企业发展指数水平相对突出，发展指数达到19.48，数据大数据分析挖掘环节必将涌现出更多的独角兽企业。与2016年相比，大数据分析环节指数增长3.8，其他环节指数均有不同程度下降。

态势七：2017年，我国重点行业大数据产业企业聚焦政务、工业、健康医疗、交通、农业、金融、教育、能源等17个行业领域，企业平均发展指数为23.36，最高的安防大数据企业发展指数达到35.71，最低的能源大数据企业发展指数为16.89。与2016年相比，主要行业大数据企业平均发展指数同比增加了0.25，大多数行业发展指数都稳中有进，除安防领域初步定型，同比2016年降低了4.01，其他重点行业领域指数均有不同程度上升。

态势八：2017年，我国特色细分领域大数据企业主要分为三大阵营，与2016年相比，三大阵容的特色细分领域发生了明显变化。一是从事人工智能相关的龙头企业处于第一阵营，平均发展指数维持在21左右；二是从事工控安全、数据库、区块链、征信分析、商业智能BI、数据中心IDC、数据营销、基因测序等10类细分领域大数据相关业务的龙头企业处于第二阵营，平均发展指数处于13.97到17.78之间；三是以虚拟现实、开源技术和车联网为代表的第三阵营，整体发展指数相对略低，处于12左右。

进过调研分析，我们可以作出预判

2018年我国大数据产业发展的主要趋势有：

1、产业将持续保持快速增长态势。预计2018年我国大数据核心产业规模将突破5700亿元。

2、融合渗透效应向更深层次延伸。延伸方向既包括经济运行、社会生活等应用领域，也包括物联网、人工智能等关联技术。

3、制造业数字转型作用日益凸显。以大数据驱动制造业数字化转型的新模式、新业态将不断涌现。

4、技术创新仍是产业发展主基调。大数据领域核心关键技术将加速突破，跨学科、跨领域交叉融合技术研究将成为发展重点。

5、产业集聚特色化发展态势逐步显现。国家大数据综合试验区建设的不断深入，一批省级大数据产业集聚区将进一步优化资源配置、形成集聚效应、发挥辐射带动作用。

6、产业生态体系迈入成熟完善阶段。大数据相关政策将加快落地实施，更多创新性政策将加快出台，大数据产业发展环境将进一步优化。

区域大数据产业发展态势：

态势一：2017年，国家大数据综合试验区依然引领产业发展，其所在区域的大数据产业发展总指数在全国大数据产业发展总指数的占比达37.54%。试验区内各省市指数较去年增幅均值为6.23，高于全国增幅均值的5.78，大数据产业发展速度高于全国平均水平。

态势二：2017年，大数据产业集聚发展效应进一步凸显，长三角地区、珠三角地区、中西部地区和东北地区大数据产业集聚发展格局基本形成。

态势三：2017年，北京、江苏、广东、浙江、上海等五省市成为大数据产业发展第一梯队，其大数据发展总指数在全国大数据发展总指数的占比高达26.52%，领先的优势地位明显。浙江省大数据产业发展指数较去年增长12.71，成为全国大数据产业发展指数增幅最高城市。

态势四：2017年，我国东部、西部、中部、东北四个分区产业发展差异化明显。东部地区整体发展水平最高，大数据产业发展指数增幅均值为7.39，远超全国平均水平5.78，天津、河北、海南排名上升；西部地区未来仍有巨大发展空间，重庆大数据产业发展指数较去年增长10.12，增幅仅次于浙江省位列全国第二，宁夏、内蒙古二地成后起之秀；中部地区整体发展速度高于西部和东北，山西发力大数据产业，排名明显提升。东北地区辽宁继续蝉联区域榜首，辐射带动作用逐步凸显。

态势五：2017年，各省市大数据产业发展环境均呈现向好态势，各省市的发展环境平均指数为10.9，较去年提高32.9%，18个省市的发展环境指数高于平均值，占比达到58%，而发展环境指数在去年平均值以上的省市高达30个；同时，江苏、重庆、安徽等地由于组织机制进一步完善、区域信息化水平加速提升等因素影响，较去年排名增速明显。

态势六：2017年，全国各省市大数据产业发展水平均有提升，大数据产业发展总指数为363.9，较去年提升16.8%；

但受数据集聚开放水平、大数据产业规模、大数据企业主体等多种因素共同影响，各省...

虽然网络时代发展得越来越快，大数据方面的也使用得越来越普遍了。但是对于什么是大数据，大数据有什么类型?大多数人是不大清楚的。现在济南优就业IT培训的小编给大家普及一下：

大数据并非是一种新科技，新技术，也不是云计算技术的商品，只是在2012年以来大数据(bigdata)一词不断增加地被提及，我们用它来描写和界说信息爆炸时代发生的海量数据，并命名与之有关的技术展开与立异，云计算技术的运用给大数据的展开供应更多的完结方式和途径。

大数据的三种类型

1)传统公司数据(Traditionalenterprisedata)：包括CRMsystems的消费者数据，传统的ERP数据，库存数据以及账目数据等。

2)机器和传感器数据(Machine-generated/sensordata)：包括呼叫记载(CallDetailRecords)，智能仪表，工业设备传感器，设备日志(通常是Digitalexhaust)，交易数据等。

3)外交数据(Socialdata)：包括用户做法记载，反应数据等。如Twitter，Facebook这么的外交媒体途径。

透过大数据的三种类型，我们可以了解到，大数据是数据计算技术的展开，是一种简略的数据计算到计算运算技术的展开，大数据有关技术的展开与立异，使得大数据现已从简略的数据计算展开到了关于数据的开掘、分析、运用才干的立异上，大数据时代对人类的数据驾御才干提出了新的应战，也为我们获得更为深入、全部的洞悉才能供应了史无前例的空间与潜力。

数据挖掘是指在大量的数据中挖掘出信息，通过认真分析来揭示数据之间有意义的联系、趋势和模式。而数据挖掘技术就是指为了完成数据挖掘任务所需要的全部技术。金融、零售等企业已广泛采用数据挖掘技术，分析用户的可信度和购物偏好等。大数据研究采用数据挖掘技术，但是数据挖掘中的短期行为较多，多数是为某个具体问题研究应用技术，还无统一的理论。传统的数据挖掘技术在数据维度和规模增大时，所需资源呈现指数级增长，所以对PB级以上的大数据还需研究新的方法。

数据挖掘概述

数据挖掘是近年来伴随数据库系统的大量建立和万维网的广泛应用而发展起来的一门技术。数据挖掘是交叉性学科，它是数据库技术、机器学习、统计学、人工智能、可视化分析、模式识别等多门学科的融合，如下图所示。

数据挖掘的几个概念

数据挖掘

数据挖掘是指从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含其内的、人们实现所不知的，但又是有潜在价值的信息和知识的过程。几点说明如下。

数据挖掘涉及数据融合、数据分析和决策支持等内容。数据源必须是真实的、大量的、含有噪声的、用户感兴趣的数据。发现的知识要可接受、可理解、可运用，并不要求发现放之四海而皆准的知识，仅支持特定的问题。数据是知识的源泉，将概念、规则、模式、规律和约束等视为知识，这就好像从矿石中采矿或淘金一样，从数据中获取知识。原始数据可以是结构化数据，如关系型数据库中的数据等，也可以是非结构化数据，如文本、图形和图像等，还可以是半结构化数据，如网页等。挖掘知识的方法可以是数学的方法，也可以是非数学的方法；可以是演绎的方法，也可以是归纳的方法。挖掘的知识具有应用的价值，可以用于信息管理、查询优化、决策支持和过程控制等，还可以用于数据自身的维护。数据挖掘是一门交叉学科，将人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持。在需求推动下，不同领域的研究者，尤其是数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面的知识融合后，形成新的研究热点。

数据的挖掘首先是搜集数据，数据越丰富越好，数据量越大越好，只有获得足够的高质量的数据，才能获得确定的判断，才能产生认知模型，这是量变到质变的过程。由此产生经验，经验的积累就能产生有价值的判断。认知模型是渐进发展的模型，当认识深入以后，将长生更加抽象的模型与许多猜想，通过猜想再扩展模型，从而达到深度学习和深度挖掘。

2. 数据挖掘分类

数据挖掘可以分为两类：直接数据挖掘和间接数据挖掘。

（1）直接数据挖掘

直接数据挖掘的目标是利用可用的数据建立一个模型，利用这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中标的属性，即列）进行描述。分类、估值、预测属于直接数据挖掘。

（2）间接数据挖掘

间接数据挖掘目标中没有选出某一具体的变量，用模型进行描述，而是在所有的变量中建立起某种关系。相关性分组或关联规则、聚类、描述和可视化以及复杂数据类型挖掘。

3. 数据挖掘技术

数据挖掘技术是数据挖掘方法的集合，数据挖掘方法众多。根据挖掘任务可将数据挖掘技术分为预测模型发现、聚类分析、分类与回归、关联分析、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现、离群点检测等。根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web。根据挖掘方法可分为机器学习方法、统计方法、神经网络方法和数据库方法。机器学习方法中，可细分为归纳学习方法（决策树、规则归纳等）、基于范例学习、遗传算法等。统计方法中，可细分为回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、费歇尔判别和非参数判别等）、聚类分析（系统聚类、动态聚类等）、探索性分析（主元分析法、相关分析法等）等。神经网络方法中，可细分为前向神经网络（BP算法等）、自组织神经网络（自组织特征映射、竞争学习等）等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。

数据挖掘应用了来自其他一些领域的思想与算法，主要包括：

统计学的抽样、估计和假设检验。人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。最优化、进化计算、信息论、信号处理、可视化和信息检索。

其他一些领域的技术也起到重要的支撑作用，需要数据库系统提供有效的存储、索引和查询处理支持。高性能计算技术、并行计算技术、分布式技术也能帮助处理数据，当数据不能集中到一起处理时更是至关重要。

我想好多人对大数据还没有一个完整的概念，认为大数据距离自己是很遥远的一件事情，其实呢，大数据离我们并不遥远，并且大数据就在我们的身边，与我们的生活是息息相关呢，那么什么是大数据呢？在百度百科，对大数据的定义如下：

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

首先，可以肯定一点，大数据肯定是海量的，另外这些数据的价值需要进行处理，整理，分析，挖掘其潜在价值，如果只是一堆海量的数据在哪里放着，也将是毫无价值的，需要经过分析，整理，决策，这样才能产生巨大的价值，如果我们将海量的数据叫做资源，将分析，整理，决策叫做计算，也就是资源+计算产生了巨大的价值，如果没有资源就谈不上计算了，如果只有资源，没有计算也是毫无价值的。

在高速发展的的现代社会里，我们周围充斥着大数据，在全球范围内每秒钟都会有海量的数据产生，并且24小时不间断的持续产生着，接下来就举例说明我们平时周围所能看到的一些大数据吧！

每日的车流量

比如说在城市里，车来车往，小轿车的数量多如牛毛，电子监控设备也是不计其数，每时每刻都会产生大量的数据，这些电子监控设备都会不停的采集这些城市交通数据，每一辆车的车型，车牌号，出现的地理位置，以及路过的时间都不会逃出这些监控设备的法眼。对这些数据的分析就能得到一些有价值的事情，比如哪个地段交通事故频发，需要采取进一步的安全措施，哪个地方违章频发，需要进一步分析什么原因造成的等等。

上下班地铁站

在一些大都市，地铁对每一个上班族来说，肯定是在熟悉不过的事情，地铁的人流量大家也是深有体会的，通过一个小小的公交卡片就能非常快捷方便收集到每一个地铁站，每个时间段的客流量，根据这些客流量也能准确的计算出平时的出现高峰期，以及从而做出正确的决策，比如在哪个时间段，那个站点需要进行人流的控制来缓解交通出行的压力。

每日的阅读数据

现在基本上每个人都有一部智能手机，不论是商场，还是在家里，还是在其他任何地方，相信好多低头族都在不停的刷着手机，也在每时每刻的的产生着海量数据。

每日的购物数据

各种各样的电商网站，各种各样的物品，都在时时刻刻的产生着海量的数据，自从有了互联网，每分钟的交易数与传统的生意相比提高了成千上万倍（远远不止成千上万）。

这些种种活动背后都是有海量的数据产生，上面提到了，作为大数据核心两点就是资源和计算，只有这两点结合起来才能产生巨大的价值，那么大数据的具体处理流程应该什么样一个过程呢？为什么说一个过程中，因为大数据不再是像传统的小量数据，实时产生计算结果，他是一个流程化的过程，一般分成以下几个环节。

数据的收集/采集

这是第一个步聚，数据的产生都是由这个环节引起的，这个环节只是简单的收集数据，不考虑数据的重复性及有效性，就是简单的数据录入

数据的处理及格式转换

这部的主要工作就是将数据加工处理及对数据的有效性及重复性校验，及格式上进行转换，转换成事先设计好的格式，从而方便数据向固定的存储介质上进行存储

数据的存储

上面说的存储介质可能是数据库或文件存储系统等或者是几种存储方式的结合，将采集到的数据进行有效处理从而沉淀下来。

数据的统计分析

对存储的起来的数据进行多个维度进行分析，得出相应的结论，这些维度都是一些技术人员或者业务专家共同探讨制定出来的，按照这些维度能得出来好多有价值的结果！

数据的挖掘

通过对分析到各个维度得出的情况来挖掘他们背后的各种联系，得出相应的策略，从而并很快的实施下去。

大家好，我是“上世是朵花”。如果你有什么好的看法或者观点可以在评论区展现你的才华，互动交流，如果想进一步了解我，那就关注我吧！

随便敲击键盘，就可以看到，搜索引擎上面已经就“数据”和“信息”分别给出了不同的定义，而且就这个两个概念自身而言，每个概念又有很多相近但是不完全相同的解释。具体到每个人的实际应用当中，“数据”和“信息”到底有什么区别呢？当关注一件事物的时候，到底是应该关注和它有关的数据还是信息呢？

数据和信息

一般来说，人们会认为“数据”的概念更客观一些，指的是那些能够不依赖人们主观意愿而转移、变化的现实存在。而信息则是对数据处理加工后的结果，人们会把对自身有价值的数据称之为信息。

比如对于一个足球迷而言，这个世界上一切有关足球的历史、记载；每一天发生的足球比赛、教练、球员以及工作人员的状况；甚至还有国际足联以及其下级单位的规定……这些都属于足球世界的数据。但是具体到这个球迷个体，他很有可能只关注自己喜爱的球队、球星……以及很有限的足球相关事件，这些他所关注的，就是信息。

现实一点来看，人们永远无法掌握“所有的数据”，却可以掌握可以让自己做出判断的“足够的信息”。

“大数据”实际上是一个计算机术语

能够分清楚“数据”和“信息”的区别，就不难理解“大数据”是一个纯粹的属于计算机领域的专有名词了。

“大数据”肯定不等于“大信息”，“大数据”所代表的，是哲学理论中“事物存在普遍联系”的验证方式。通过不加分辨的方式，将所有一切可以采集到的“数据源内容”，不经过任何处理地录入（录入当然不止是通过键盘）到计算机当中，这样的过程就是“大数据采集”。就比如上面所提到的关于足球的一切，甚至于非洲的一个小朋友拿一个瘪了的足球当帽子都应当记录到“足球大数据”当中。

就目前而言，“大数据”还处于阶段，算法和程序还没有办法完全利用大数据分析得到可以支持人们对于未知、未来的解答；大数据无法告诉你下一个中大奖的彩票号码是什么，也无法告诉你人类究竟该如何永久终极地避免战争发生——究其根本，“大数据”更重要的是体现出了对已发生的事物的记录，而只有人类智慧达到可以开发利用大数据的时候，才能够通过计算机的运算能力找到更多问题的答案。

对你有用的是“大信息”

对于每个人个体而言，一切“大数据”皆是虚妄，真正对我们有用的是“大信息”。

当一位统帅需要就眼下的战局做一番部署的时候，他所需要的，也许并不是古往今来所有的战争数据，而是目前敌我双方所处在时间、空间节点，以及各自的人员、武器装备、给养……。不是说参考更多的战争案例没有用，而是时间根本不允许在战争中“过多地思考”。或者，我们不妨设想另一个极端地状况：在现代战争之中，如果真的有计算机给出了一个关于今晚战斗的具体策略，那位统帅会按照计算机的部署去安排己方的战术打法吗？

又或者，我们不说战争，还是上面说过的足球，有哪一位教练会依赖计算机来告诉自己如何安排战术吗？如果有这样的教练，那么他存在的价值又是什么呢？一名优秀的足球教练，可能会根据智能化设备的提供的数据来生成自己大脑中对于本场比赛有用的信息，然后他会根据这样的信息来安排战术与出场球员。在这个时候，或许这名教练并不需要知道什么阵型对什么阵型的胜率是多少……，但是他至少应该掌握自己与对手球队球员的伤病信息……，我们很少会说“刺探数据”，因为数据是死的，信息是活的。一名球员的过往数据可能说明了他从踢球以来一直踢的是后卫的位置，但是这并不代表他在本场比赛不会出现在前锋线上……，就是这样。

所以……

把“大数据”留给那些计算机或者是IT工程师吧，这个概念并不是每一个人或者每一家企业需要掌握的东西。我们，应该关注的是那些和我们有关联的数据能够分析出的结果，应该关注那些能够对我们产生价值的信息。

我们每天都在被各种各样的“大数据”包围着，但是如果想要得到我们必须获得的信息，则还要付出更多地努力。

什么是大数据？大数据就是指在一定时间范围内无法使用传统数据库工具对其进行捕捉、管理、计算、分析和处理的数据集合，大数据有以下四个特性：海量的数据规模（Volumn），数据类型繁多（Variety），数据流转速度极快（Velocity）以及价值密度较低（Value），我们就说说这四大特性。

海量的数据规模

我们接触最多最敏感的数据那就是我们手机所购买的流量，最常见的数据计量单位为K、M和G，他们的关系为1G=1024M，1M=1024KB。也许你也听过TB，1TB=1024G，这个数据单位对我们来世已经相当庞大了，我们的笔记本最大的容量也就在1TB这个级别，但是在大数据眼里最小的数据也得10TB起，比TB级还大的数据计量单位还有吗？有，而且还很多，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB......我们已经无法感知这么大的数据量了。截止到2011 年，互联网用户数已达到20 亿； RFID 标签在2005 年的保有量仅有13亿个，但是到2010 年这个数字超过了300 亿；2006 年资本市场的数据比2003 年增长了17.5倍；日前新浪微博上每天上传的微博数超过1 亿条；Facebook 每天处理10TB 的数据；世界气象中心积累了220TB 的Web 数据，9PB 其他类型数据……

极快的数据流转

数据具有一定的时效性，是不停的变化的，可以随时间数据量逐渐增大，也可在空间上不断移动变化的数据。如果我们采集到的数据不经过流转，最终会过期作废。客户的体验在分秒级别，海量的数据，带来的第一个问题就是大大延长了各类报表生成时间，我们能否在极端的时间内提取最有价值的信心呢？数据在1秒内得不到流转处理，就会给客户带来较差的使用体验，若我们的数据处理软件达不到“秒”处理，所带来的商业价值就会大打折扣。

价值密度低

尽管大数据的数据量巨大，但是有价值的信息极少，我们要通过分析才能将大数据从数据到价值的转变，这些工作量极其庞大，所以云计算是一个很好的解决途径。以监控视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

数据种类繁多

数据的格式是多样化的，如文字、图片、视频、音频、地理位置信息等，也可以是不同的数据类别，也可以有不容的来源，如传感器、互联网。首先用户是一个复杂的个体，单一的行为数据是不足以描述用户的各种行为，多元化的信息采集处理就像拼图一样，逐渐勾勒出我们身体的骨架，增添上我们的血肉。我们在淘宝、京东购物时，总会在下面的推荐区推荐我们想要的东西，比如我们去频繁的搜索浏览某件商品，这是他们就会采集我们浏览的数据，从中挖去有价值的信息，推送给我们。所以说这样的模式给一种体验，那就是这些app越来越懂我们的爱好和需求。

大数据未来会渗透在很多领域，大数据与云计算，机器学习与人工智能，物联网，区块链等。