未来几年，全球数据量将呈指数级增长。据IDC统计，到2020年，全球数据总量将达到44ZB，中国数据量将达到8060EB，占全球数据总量的18%。数据，已然对当下的商务、生活乃至方方面面都产生了深远的影响。可众所周知，各行各业数据生产的速度要远远大于数据消化的速度。数据分析处理的不及时，必然造成大量具有时效性数据的浪费，日积月累，这样的不匹配性会越来越严重。

如何消除这样的不匹配性？归根结底，我们需要一种能够对更大规模数据做到更实时更迅捷的分析工具。

顺势而生的GPU数据库

2015年，已经在甲骨文公司工作了6年的星爵意识到，传统的数据库系统需要革新了。传统CPU数据库的发展主要面临两大瓶颈，一是数据计算速度，二是数据访问速度。而负责算力的CPU，目前停留在数十核的规模，这已经接近它的物理极限了。数据库计算领域，是时候该添加新鲜血液了。

2013年，深度学习技术的崛起让人们看到了GPU的力量。在这之前，GPU的主要功能是图片渲染，通过模拟现实场景生成接近于真实景象的图片，主要被应用于游戏领域。而深度学习技术，使GPU“大规模并行计算”的能力得以展现，人们对它的认知终于不再是游戏机，GPU，也可以成为像CPU一样的服务器。而星爵，更是坚定的认为，GPU处理大数据已经成为一种趋势。各种深度学习的软件框架例如TensorFlow，需要运行在计算设备上，与CPU相比，GPU更能让其高效的工作，在性价比以及计算力上都有较大的优势。

没有犹豫，星爵离开甲骨文，回国创立了Zilliz，他要做人工智能时代的数据库系统。

星爵认为，在过去数十年间，人工智能因为CPU架构下计算能力的限制而裹足不前，OLAP数据库技术也因为同样的原因而发展缓慢。就像华岩资本合伙人黄志玮所认为的，我们需要一个基于众核处理器硬件加速的、面向人工智能的新一代OLAIP（On-Line Analytical and Intellegent Processing）数据库系统，而这正是Zilliz在研发的产品。

Zilliz使用众核处理器上的成千上万个处理核心进行超大规模并行数据处理，实现数据库操作的加速，同时提供数据库系统和人工智能计算框架之间的直接数据通道。Zilliz将人工智能处理引擎融合进数据库执行引擎，提供集数据存储、分析、管理、和人工智能处理与一身的OLAIP数据库系统。

星爵向亿欧介绍，Zilliz基于GPU的数据库系统可以比CPU数据库的性能提高100倍，可大范围的应用于金融、电信、互联网以及政府领域。

在商业模式上，Zilliz为各行业的头部客户和互联网公司提供了不同的方案。对于头部客户，Zilliz即可以为其提供私有部署，同时还有基于一体机的解决方案；对于互联网公司，尤其是那些将数据部署在云端的客户，Zilliz可以为其提供SaaS的方案，使用各大云厂商提供的GPU，在云端为客户提供服务，从而使客户无需采购GPU硬件设备便可以使用。

新技术的新“麻烦”

大多数人有这样一个疑问——

即便GPU数据库的使用性能和性价比，与原有系统相比更有优势，但是要让用户将存储在CPU服务器上的数据快速迁移到GPU服务器中，可行性有多大？

这关乎到Zilliz的未来，也是星爵自公司创立之初就在解决的问题。星爵表示，Zilliz并不是要替代原有的CPU方案，而是要在大规模数据的实时性分析方面开创一个新的蓝海市场。

人工智能时代下，数据量将会呈指数型增长。在这样的情况下，各行各业的业务想要得到更好的发展，实时数据分析能力以及实时数据驱动运营能力将是其核心的竞争力，因此，Zilliz产品的存在是有其合理性的。

Zilliz投资人云启资本执行董事陈昱表示，在大数据时代，企业需要一个更大、更快、更强的数据库，人工智能技术的加入，是一种对传统数据库的革新，使数据库产生了更高的效率，这无疑是当下各公司最迫切的需求。

另外，星爵希望将数据库软件做成一个标准件。作为一个底层的数据库软件，需要对外提供标准化的查询语言接口，理想状态应当是用户在接入新数据库的时候，其业务层面不发生改变。因此Zilliz通过产品化与标准化，为用户提供标准SQL接口以及各种ETL工具，从而降低用户在数据迁移过程中的成本，尽量做到“无感迁移”。对于用户来说，相当于更换了一个数据库的软件和引擎，但是其业务层并不会受到影响。

星爵还向亿欧透露，为了更加快速的在CPU处理器与GPU处理器之间进行数据交换，Zilliz与IBM合作生产了数据库一体机，使用NvLink技术，能够大大提升不同类型处理器芯片之间的数据传输速度。

资本认可，行业进入爆发期

目前世界范围内做OLAP GPU数据库加速的公司仅有4家：

星爵介绍，在这一领域，国外从2006年就已经开始有所研究，然而，当时的市场认知度不足，用户对于GPU还停留在游戏处理器的认知上，且高端GPU的市场存量较少，并没有基于GPU部署数据库系统的实力。另一方面，整个生态系统还处于早期的发展状态，各种相关工具及配套软件比较缺乏。基于以上两点原因，国外公司在这一方面并没有太多优势。

到2016年，市场认知才有所好转。从业人员开始意识到GPU也可以做与企业相关的工程（例如深度学习），同时，GPU服务器已经成为常态，各种GPU的生态体系也逐渐完善，种种原因使得2016年成为GPU数据库的元年，至此，资本市场逐渐认可这一领域，GPU数据库进入爆发期。

然而爆发并不意味着竞争，靖亚资本创始人郑靖伟向亿欧介绍，数据库这样底层技术的门槛很高，国内少有人研究。产品的研发与验证都需要一定时间，而对于一般的大型中型公司来说，更换数据库系统需要进行很多的测试来评估流程，一旦被验证，很难再次更换数据库系统提供商。

而2018年，将是GPU数据库在各行各业应用更为广泛的一年。

我想好多人对大数据还没有一个完整的概念，认为大数据距离自己是很遥远的一件事情，其实呢，大数据离我们并不遥远，并且大数据就在我们的身边，与我们的生活是息息相关呢，那么什么是大数据呢？在百度百科，对大数据的定义如下：

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

首先，可以肯定一点，大数据肯定是海量的，另外这些数据的价值需要进行处理，整理，分析，挖掘其潜在价值，如果只是一堆海量的数据在哪里放着，也将是毫无价值的，需要经过分析，整理，决策，这样才能产生巨大的价值，如果我们将海量的数据叫做资源，将分析，整理，决策叫做计算，也就是资源+计算产生了巨大的价值，如果没有资源就谈不上计算了，如果只有资源，没有计算也是毫无价值的。

在高速发展的的现代社会里，我们周围充斥着大数据，在全球范围内每秒钟都会有海量的数据产生，并且24小时不间断的持续产生着，接下来就举例说明我们平时周围所能看到的一些大数据吧！

每日的车流量

比如说在城市里，车来车往，小轿车的数量多如牛毛，电子监控设备也是不计其数，每时每刻都会产生大量的数据，这些电子监控设备都会不停的采集这些城市交通数据，每一辆车的车型，车牌号，出现的地理位置，以及路过的时间都不会逃出这些监控设备的法眼。对这些数据的分析就能得到一些有价值的事情，比如哪个地段交通事故频发，需要采取进一步的安全措施，哪个地方违章频发，需要进一步分析什么原因造成的等等。

上下班地铁站

在一些大都市，地铁对每一个上班族来说，肯定是在熟悉不过的事情，地铁的人流量大家也是深有体会的，通过一个小小的公交卡片就能非常快捷方便收集到每一个地铁站，每个时间段的客流量，根据这些客流量也能准确的计算出平时的出现高峰期，以及从而做出正确的决策，比如在哪个时间段，那个站点需要进行人流的控制来缓解交通出行的压力。

每日的阅读数据

现在基本上每个人都有一部智能手机，不论是商场，还是在家里，还是在其他任何地方，相信好多低头族都在不停的刷着手机，也在每时每刻的的产生着海量数据。

每日的购物数据

各种各样的电商网站，各种各样的物品，都在时时刻刻的产生着海量的数据，自从有了互联网，每分钟的交易数与传统的生意相比提高了成千上万倍（远远不止成千上万）。

这些种种活动背后都是有海量的数据产生，上面提到了，作为大数据核心两点就是资源和计算，只有这两点结合起来才能产生巨大的价值，那么大数据的具体处理流程应该什么样一个过程呢？为什么说一个过程中，因为大数据不再是像传统的小量数据，实时产生计算结果，他是一个流程化的过程，一般分成以下几个环节。

数据的收集/采集

这是第一个步聚，数据的产生都是由这个环节引起的，这个环节只是简单的收集数据，不考虑数据的重复性及有效性，就是简单的数据录入

数据的处理及格式转换

这部的主要工作就是将数据加工处理及对数据的有效性及重复性校验，及格式上进行转换，转换成事先设计好的格式，从而方便数据向固定的存储介质上进行存储

数据的存储

上面说的存储介质可能是数据库或文件存储系统等或者是几种存储方式的结合，将采集到的数据进行有效处理从而沉淀下来。

数据的统计分析

对存储的起来的数据进行多个维度进行分析，得出相应的结论，这些维度都是一些技术人员或者业务专家共同探讨制定出来的，按照这些维度能得出来好多有价值的结果！

数据的挖掘

通过对分析到各个维度得出的情况来挖掘他们背后的各种联系，得出相应的策略，从而并很快的实施下去。

大家好，我是“上世是朵花”。如果你有什么好的看法或者观点可以在评论区展现你的才华，互动交流，如果想进一步了解我，那就关注我吧！

｜作者：希小婧&南七道 编辑：南七道

“这两年在大数据领域，纯粹讲概念没有技术的公司都死完了。融资过很多的钱的企业虽然还存活着，但大多过的也很难受。”一位大数据领域的资深创业者，对创界网(ID:ChuangDaily)说出了整个业内的真实现状。

从2016年开始，就有人喊大数据的寒冬来了，但依然有很多资本进入大数据这个领域。到2017年《网络安全法》实施，曾经被称为大数据天堂的野蛮生长时代结束，行业进入调整期。进入2018年，洗牌持续加剧，凛冬真正来临了。

大数据公司的寒冬真的来了

在当下，大数据领域的公司基本是三分天下：BAT华为等巨头系、TalkingData华云数据Dataeye等创业系、和电信、移动、联通等国有系。

2013年到2016年，是大数据相关公司的春天，在这几年，创业公司很容易拿到融资，从几百万到数亿不等，有业内人调侃说：“行业风口期，只要在电脑上打开一个Excel表格就敢说自己是大数据公司，就有可能融到资。”不完全统计，仅在2017年的上半年，就有63家大数据创业公司获得了融资，总融资超过68亿人民币。其中获得上亿元融资的企业有17家。更有人乐观估计，在2020年，整个产业会超过13000亿。

从2016年下半年开始，大数据行业的公司数量就开始逐渐压缩和减少，其中D轮融资超过4亿的百分点等公司开始大幅裁员，据说将超过600人的团队压缩到了300以内。2017新年刚过，亚信数据同样步入调整步伐，负责新领域探索的部门全部砍掉，据说还会有第二轮裁员。

除此之外，大数据公司在融资方面也遭遇难题，除了极个别的头部公司获得了大数额的投资，例如百融金服在今年4月完成了由中国国新基金领投，老股东红杉资本中国基金增持的10亿元人民币的C轮融资外，其他大多数的公司特别是初创团队获得融资的非常少，也有不少公司的融资记录还停留在前几年，比如集奥聚合的融资还停在2014年的B轮。

上海某基金的合伙人对创界网(ID:ChuangDaily)说，他们基金在14-15年投资了12个大数据项目，到了16年投资了4个，17年1个，18年完全停止了投资。主要是观望。而在投资的17各项目中，已经倒闭的有5个，占近30%。转型的有7个，剩下的5个，还在继续熬着。“几乎全军覆没。”说完之后他长叹了一口气。

国内大数据细分领域的头部公司Dataeye创始人汪祥斌指出，即使是估值很高的一些头部项目，现在大多日子也不好过。行业现在最主要的就是谋求商业变现。根据爱分析发布的《2018中国大数据行业报告》显示，我国多家金融、政务大数据公司收入突破亿元大关，看上去一片繁华。但是由于大数据的基础建设需要长期投入，能做到收支平衡已经是不错的情况。少部分公司如Dataeye另辟蹊径，探索海外，已经实现了初步盈利。

还有部分的大数据公司，继续流血融资。多位从业者表示，由于之前概念炒的太火导致现在的大数据公司估值太高、项目太贵，目前整个行业都面临溢价过高这一问题。据说某一头部大数据公司在最新一轮融资中，上市的互联网巨头投资方觉得估值太高，直接打了对折，虽然最后还是融资了，但已经无心对外公布融资金额。

实际上到目前为止大数据领域，没有真正形成规模化变现或者利润很高的公司，面对如今热潮的褪去，当初给投资人开出的溢价无法兑现，后续融资压力很大。即使有收入，在行业营收较好的大数据金融还有政务公司，都面临回款这一硬伤。某大数据公司，和一银行签了一笔100万订单，三年过去了，还有一半的款没有结算。

大数据行业靠着概念就能拿到钱的风光早已一去不复返了，现在的大数据行业面临不可逆转的生死劫。

为什么大数据行业如此萧条？

大数据野蛮生长的时代已经结束，面对行业现在的艰难，追根溯源，是因为行业建设周期长、缺乏底层核心的技术、萎靡的经济大环境等综合原因造成的。

核心的大数据底层技术缺失

即使经过6年发展，我们依然缺乏大数据的核心技术。Dataeye创始人汪祥斌对创界网(ID:ChuangDaily)说，国内所有标榜做大数据的公司，用的基本上都是美国的hadoop底层核心技术，一旦全部切断，那么国内没有一家数据公司能存活下来。

据悉，目前有关大数据底层的核心模块全部来自于美国公司，包括腾讯、阿里在内的所有公司都在用它提供的技术。包括分布式的数据库在内，国内公司在这方面几乎没有原创技术，只有阿里逐渐在大数据开源社区贡献了一些技术。

国内的大数据公司，目前更多是在应用层面进行创造。这是当下国内互联网创业者最擅长的，能短期见效的、变现的应用层面的东西，比如说做数据统计、分析、挖掘等应用层面的技术。这是中国创业者在大数据行业的优势和强项。由于底层技术的缺失，根基不牢，一旦整个行业发展遭遇动荡，产业链上的创业者可能都会被波及，很难长远发展。

数据大而不精的尴尬现状

以广告投放为例，外界都以为大数据公司掌握大量数据，可以做到精准投放来增强产品购买率，在理论上来说没错，但其实只是一个理想状态。实际情况下，一个人的消费是由诸多维度的信息共同组成的。要实现信息采集、画像分析、用户推送、交易转化，需要掌握各种大量信息数据，然后在恰当的时间地点把东西推给合适的用户。比如一个喜欢浏览汽车的用户，如果在他面试或者开会的时间进行推送，很有可能就达不到传播目的，更不用谈转化。

实际上，国内每家数据公司其实都是一个数据孤岛，拥有的只是一个很片面的数据，并非一个全景化数据。虽然每家数据公司都标榜自己是全景化数据，但实际上并非如此。在大数据整个行业里，即使是腾讯这样的巨头也不敢说它的数据是全景化的。

行业建设周期长短期难获利

在国内，投资人普遍有一个通病，就是不能接受长线投资，这点在大数据领域体现的特别明显，很多投资人入局都是抱着一年翻倍、三年推出、四年上市这种心思来的，自然导致了大数据领域早前的概念成风、虚火旺盛现象。用资本的热度和周期去考核大数据行业的变现时间，本身就是一个错误。在大数据行业，数据积累和开发是有一定周期的，只有积累到一定数量，才有可能变现，但这没法一蹴而就。行业的发展是需要足够成长周期的，需要时间的积累和足够的耐心。

因为投资急躁，加上部分大数据领域创业公司的急于变现，甚至是投机取巧，企业当然无法安心扎根于技术，行业自然乱象丛生，加上《网络安全法》等数据法律健全，必然造成了一批大数据公司被淘汰。

经济下行投资环境日益艰难

进入到18年，由于经济大环境越来越不乐观，连巨头腾讯的股票都暴跌40%，很多基金连完成新的一轮募资都很困难，自身难保。剩下有钱的基金更加趋于谨慎。作为需要长期投资的大数据领域，融资更是越来越难。2018年以来，有关大数据公司融资的消息几乎是凤毛麟角。现在几乎到了“闻大数据色变”的地步，在投资人眼中已把大数据与“忽悠”、“骗子”一词挂钩。如此严峻的形势，估计还会持续2-3年。

出身腾讯系的创业者，Dataeye创始人汪祥斌称，他们早在3年前，就对行业的变化有了判断。早已经向日韩等国家开拓业务，和本土企业在当地成立公司，而这些企业都是在业内深耕了20年左右。同时公司也正在孵化AI团队，进一步开发一些核心算法，让产品适应更多的国家和地区。接下来，他们还会做基础的数据技术，相关的一些开放式的数据挖掘、封闭式的数据挖掘等。由于布局及时，避开了国内行业的红海，Dataeye预计会在今年实现更高的利润。

海外大数据市场逆势发展

与国内大数据公司面临困境的状况完全相反的是，海外的大数据行业正处在行业高速发展的两极状态。除了中国团队和企业走往海外。欧美等本土大数据公司开始批量上市。根据美国2016年大数据全景图，可以看到美国目前众多大数据相关公司和团队，行业非常细分，并且整个生态链都很健全。

在当下，国内的部分投资机构想投拥有核心基础技术的大数据公司，都会去硅谷，而国内优秀的大数据人才也向硅谷流失，因为那里更适合行业和个人发展。

与国内资本寒冬形成对比的是，在美国市场上，今年有大量美国大数据公司成功IPO。包括SurveyMonkey、Domo、Dropbox、DocuSign和ZScaler等多家公司。刚过去的10月6日，美国的一家大数据公司Elasticsearch$(ESTC)$也在美股成功上市，它是一家做数据搜索的公司，刚开始只是一个开源社区，然后慢慢变成一个成功的商业公司。上市当日股价直线拉升，最高点涨幅达122%。

《权力的游戏》里，主角们提及最多的就是“凛冬将至”，大数据正在经历前所未有的寒冬。但正如2000年左右互联网泡沫爆炸之后，走出了阿里谷歌一样，包括大数据行业也必然经历这个发展周期。历经渡劫的大数据行业，才能像社交、电商行业那样，成长出真正的独角兽。

数据挖掘是指在大量的数据中挖掘出信息，通过认真分析来揭示数据之间有意义的联系、趋势和模式。而数据挖掘技术就是指为了完成数据挖掘任务所需要的全部技术。金融、零售等企业已广泛采用数据挖掘技术，分析用户的可信度和购物偏好等。大数据研究采用数据挖掘技术，但是数据挖掘中的短期行为较多，多数是为某个具体问题研究应用技术，还无统一的理论。传统的数据挖掘技术在数据维度和规模增大时，所需资源呈现指数级增长，所以对PB级以上的大数据还需研究新的方法。

数据挖掘概述

数据挖掘是近年来伴随数据库系统的大量建立和万维网的广泛应用而发展起来的一门技术。数据挖掘是交叉性学科，它是数据库技术、机器学习、统计学、人工智能、可视化分析、模式识别等多门学科的融合，如下图所示。

数据挖掘的几个概念

数据挖掘

数据挖掘是指从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含其内的、人们实现所不知的，但又是有潜在价值的信息和知识的过程。几点说明如下。

数据挖掘涉及数据融合、数据分析和决策支持等内容。数据源必须是真实的、大量的、含有噪声的、用户感兴趣的数据。发现的知识要可接受、可理解、可运用，并不要求发现放之四海而皆准的知识，仅支持特定的问题。数据是知识的源泉，将概念、规则、模式、规律和约束等视为知识，这就好像从矿石中采矿或淘金一样，从数据中获取知识。原始数据可以是结构化数据，如关系型数据库中的数据等，也可以是非结构化数据，如文本、图形和图像等，还可以是半结构化数据，如网页等。挖掘知识的方法可以是数学的方法，也可以是非数学的方法；可以是演绎的方法，也可以是归纳的方法。挖掘的知识具有应用的价值，可以用于信息管理、查询优化、决策支持和过程控制等，还可以用于数据自身的维护。数据挖掘是一门交叉学科，将人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持。在需求推动下，不同领域的研究者，尤其是数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面的知识融合后，形成新的研究热点。

数据的挖掘首先是搜集数据，数据越丰富越好，数据量越大越好，只有获得足够的高质量的数据，才能获得确定的判断，才能产生认知模型，这是量变到质变的过程。由此产生经验，经验的积累就能产生有价值的判断。认知模型是渐进发展的模型，当认识深入以后，将长生更加抽象的模型与许多猜想，通过猜想再扩展模型，从而达到深度学习和深度挖掘。

2. 数据挖掘分类

数据挖掘可以分为两类：直接数据挖掘和间接数据挖掘。

（1）直接数据挖掘

直接数据挖掘的目标是利用可用的数据建立一个模型，利用这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中标的属性，即列）进行描述。分类、估值、预测属于直接数据挖掘。

（2）间接数据挖掘

间接数据挖掘目标中没有选出某一具体的变量，用模型进行描述，而是在所有的变量中建立起某种关系。相关性分组或关联规则、聚类、描述和可视化以及复杂数据类型挖掘。

3. 数据挖掘技术

数据挖掘技术是数据挖掘方法的集合，数据挖掘方法众多。根据挖掘任务可将数据挖掘技术分为预测模型发现、聚类分析、分类与回归、关联分析、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现、离群点检测等。根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web。根据挖掘方法可分为机器学习方法、统计方法、神经网络方法和数据库方法。机器学习方法中，可细分为归纳学习方法（决策树、规则归纳等）、基于范例学习、遗传算法等。统计方法中，可细分为回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、费歇尔判别和非参数判别等）、聚类分析（系统聚类、动态聚类等）、探索性分析（主元分析法、相关分析法等）等。神经网络方法中，可细分为前向神经网络（BP算法等）、自组织神经网络（自组织特征映射、竞争学习等）等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。

数据挖掘应用了来自其他一些领域的思想与算法，主要包括：

统计学的抽样、估计和假设检验。人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。最优化、进化计算、信息论、信号处理、可视化和信息检索。

其他一些领域的技术也起到重要的支撑作用，需要数据库系统提供有效的存储、索引和查询处理支持。高性能计算技术、并行计算技术、分布式技术也能帮助处理数据，当数据不能集中到一起处理时更是至关重要。

【VIP会员服务】小鸟云匠心打造完整的VIP会员服务体系，为国内国际用户提供7*24小时服务支持、0元快速备案、100倍故障赔偿、5天无理由退款等多种服务支持和服务保障让用户尊贵售后服务，让云端部署更轻松、更高效。

如今，为了满足企业的主要需求，大数据工具正在迅速得到应用。在大数据技术作为概念和业务战略出现的十年中，涌现了执行各种任务和流程的数千种工具。而推出这些工具的提供商都承诺可以为企业节省时间和成本，并发现能够让企业获利的商业洞察力。显然，大数据分析工具的市场正在不断增长。

许多大数据分析工具最初像大数据软件框架Hadoop一样都是开源项目，但商业实体迅速涌现，为开源产品提供了新工具或商业的支持和开发。

而在这些工具中选择是一个挑战，特别是许多大数据工具只具有单一用途，而企业需要使用大数据完成许多不同的任务，因此企业的分析工具箱会变得过于充实。根据这个行业领域的专家顾问的建议，以下列出一系列主要的大数据分析工具，并列出三个主要类别。

如上所述，大数据工具都倾向于单一使用类别，并且有多种使用大数据的方式。所以可以按类别分类，然后分析每个分析工具。

大数据工具：数据存储和管理

大数据都是从数据存储开始。这意味着从大数据框架Hadoop开始。它是由Apache Foundation开发的开源软件框架，用在计算机集群上分布式存储非常大的数据集。

显然，存储对于大数据所需的大量信息至关重要。但更重要的是，需要有一种方式来将所有这些数据集中到某种形成/管理结构中，以产生洞察力。因此，大数据存储和管理是真正的基础，而没有这样的分析平台是行不通的。在某些情况下，这些解决方案包括员工培训。

而这个领域的主要的大数据工具有：

1. Cloudera

基本上，Hadoop增加了一些额外的服务，企业将需要这些服务，因为大数据并不是一个简单的练习。 Cloudera的服务团队不仅可以帮助企业构建大数据集群，还可以帮助培训员工更好地访问数据。

2. MongoDB

MongoDB是最流行的大数据数据库，因为它适用于管理大数据经常出现的非结构化数据或频繁更改的数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品是围绕集成平台构建的，该平台结合了大数据、云计算、应用程序，以及实时数据集成、数据准备和主数据管理。

Talend大数据集成包括数据质量和治理功能。

大数据工具：数据清理

在企业真正处理大量数据以获取洞察信息之前，先需要对其进行清理、转换并将其转变为可远程检索的内容。大数据集往往是非结构化和无组织的，因此需要进行某种清理或转换。

在这个时代，数据的清理变得更加必要，因为数据可以来自任何地方：移动网络、物联网、社交媒体。并不是所有这些数据都容易被“清理”，以产生其见解，因此一个良好的数据清理工具可以改变所有的差异。事实上，在未来的几年中，将有效清理的数据视为是一种可接受的大数据系统与真正出色的数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段和其他错误来清理凌乱的数据。它是开源的软件，但它有一个可以提供帮助的大型社区。

5. DataCleaner

与OpenRefine类似，DataCleaner将半结构化数据集转换为数据可视化工具可读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. Microsoft Excel

人们可以从各种数据源导入数据。Excel对手动数据输入和复制/粘贴操作特别有用。它可以消除重复、查找、替换，拼写检查以及用于转换数据的许多公式。但它很快陷入困境，并不适用于大数据集。

大数据工具：数据挖掘

一旦数据被清理并准备好进行检查，就可以通过数据挖掘开始搜索过程。这就是企业进行实际发现、决策和预测的过程。

数据挖掘在很多方面都是大数据流程的真正核心。数据挖掘解决方案通常非常复杂，但力求提供一个令人关注和用户友好的用户界面，这说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们的确需要工作人员开发查询，所以数据挖掘工具的能力并不比使用它的专业人员强。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，具有非常用户友好的可视化界面，这意味着企业无需编写代码，即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一套适用于企业级的高级分析的产品，用于数据挖掘。而IBM的服务和咨询无疑是首屈一指的。

9. Teradata

Teradata为数据仓库、大数据和分析以及市场营销应用提供端到端解决方案。这一切意味着企业的业务可以真正成为一个数据驱动的业务，并提供商业服务、咨询、培训和支持。

像许多当前的大数据工具一样，RapidMiner解决方案也包含云计算解决方案

大数据工具：数据可视化

数据可视化是企业的数据以可读的格式显示的方式。这是企业查看图表和图形以及将数据放入透视图中的方法。

数据的可视化与科学一样，是一种艺术形式。而大数据公司将拥有越来越多的数据科学家和高级管理人员，很重要的一点是可以为员工提供更加广泛的可视化服务。销售代表、IT支持、中层管理等这些团队中的每一个成员都需要理解它，因此重点在于可用性。但是，易于阅读的可视化有时与深度特征集的读取不一致，这成为了数据可视化工具的一个主要挑战。

10. Tableau

作为这一领域的领导者之一，其数据可视化工具专注于商业智能，无需编程即可创建各种地图、图表、图形等等。Tableau总共有五款产品，其中有一个名为Tableau Public的免费版本供潜在客户试用。

11. Silk

Silk是一种简单版本的Tableau，Silk可让企业将数据可视化为地图和图表，而无需任何编程。它甚至会尝试在第一次加载时自动将数据可视化。它还使得在线发布结果变得容易。

12. Chartio

Chartio使用自己的可视化查询语言，只需点击几下即可创建功能强大的仪表板，而无需了解SQL或其他建模语言。与其他不同的是，企业直接连接到数据库，因此不需要数据仓库。

13. IBM Watson Analytics

IBM Watson Analytics是机器学习(ML)和人工智能(AI)的结合，可帮助提供智能数据科学助理，为业务分析师和数据科学家提供广泛的数据科学技能集的用户指南。

三层大数据工具

普华永道移动数据和分析计划首席技术官Ritesh Ramesh说，就精密程度和市场战略而言，大数据工具分解为三层。

第一层：也是最大的一层，是一系列开源工具。每家公司都以这种方式开始，像Cloudera和Hortonworks。除了基本的基础设施。服务器和存储之外，价值非常小。大多数云计算厂商已经将这一层实现商品化。

第二层：这是大多数这些供应商已经意识到需要增加他们的市场份额的地方，他们必须在开放源代码工具之上构建一些专有应用程序，从而与其他供应商区分开。例如，Cloudera公司构建了一些类似于Hadoop内核中的数据科学平台。

第三层：这些是垂直专用的应用程序。这些公司大多与普华永道、Cognizant或埃森哲等系统集成商合作。这就是真正的价值所在，而且这也是大数据工具制造商非常有效的竞争策略。

Ramesh说，除了基本功能之外，还有三个工具需求领域。首先是数据处理工具。他说，“数据学习工具是客户进行数据质量和性能分析的工具包中的重要工具，可处理5000万行数据，以发现洞察力。”

什么是大数据？

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

大数据有何作用？

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

了解了大数据的概念和作用，我们先来看一下商业巨头们如何利用大数据吧。

一、谷歌公司（google Inc）

第一个 ：ReCAPTCHA案例。

这个虽然是被谷歌收购的，但是，具有典型的谷歌思维。为了解决垃圾邮件和网络机器人的问题，冯.安发明了验证码的解决方案。如果只限于此，也就没有特别可以称道的，但是他意识到每天有这么多人要浪费10秒钟的时间输入这堆恼人的字母，而随后大量的信息被随意地丢弃时，他开始寻找能使人的计算能力得到更有效利用的方法。 他想到了一个继任者，恰如其分地将其命名为ReCaptcha。和原有随机字母输入不同，人们需要从计算机光学字符识别程序无法识别的文本扫描项目中读出两个单词并输入。其中一个单词其他用户也识别过，从而可以从该用户的输入中判断注册者是人;另一个单词则是有待辨识和解疑的新词。为了保证准确度，系统会将同一个模糊单词发给五个不同的人，直到他们都输入正确后才确定这个单词是对的。在这里，数据的主要用途是证明用户是人，但它也有第二个目的：破译数字化文本中不清楚的单词。ReCaptcha的作用得到了认可，2009年谷歌收购了冯·安的公司，并将这一技术用于图书扫描项目，再后来，谷歌街景也开始使用这项技术。把验证码和OCR需求巧妙结合起来，这展示了思维的威力，实现了ReCaptcha技术提供者和使用者的双赢，技术提供者利用OCR识别获得了自己的受益，使用者不需要任何付费(互联网免费思维)，也愿意使用，对于用户其实也没有影响，没有增加额外的工作。上研究生的时候，就研究OCR汉字识别问题，识别率始终是个问题，对于手写就更低了，要花费大量人力来解决，并且，人工识别工作是非常无聊，没有办法来保障质量。再想起12306的验证码，更令人无语了。我们浪费了多少资源?我们有多少资源可用充分来利用?

第二个：拼写检查纠错的案例。

我们都经常使用微软的Word，其中就有拼写检查纠错功能，微软实现这个功能，采用的是传统的软件思维，也就是利用规则和词库来解决，这个需要不断耗费人力进行规则和词库的升级，对于不同的语言，耗费更是巨大。谷歌解决这个方法，用的相对巧妙，在搜索的时候，当你输入一个错误的词时，会给一个提示，要找的是不是建议的词，如果用户确认后，谷歌就进行记录处理，后面，再经过一些算法处理，经过大量的数据学习，各个拼写检查纠错就越来越好，并且，这个后续维护成本很低， 效果越来越好。其实，谷歌翻译也使用了类似的思路，虽然前期算法，包括大数据处理花费了比较多，后续，基本实现了自动化，系统会越来越强，维护升级成本很低，项目就变成可持续发展。

第三个：对流感的预测

2009年，一种新型的流感病毒h1n1在全球迅速传播开来。美国，和世界上所有的国家一样，要求医生们发现案例市告知疾病控制与预防中心。但是，人们并不是在第一时间去医院检查，而是会有一段时间的延迟，消息要传达到疾控中心也要时间，从而造成一定的滞后性。

在该病毒爆发的几周前，谷歌公司的工程师们在《自然》杂志上发表了一篇论文。文中解释了谷歌为什么能够预测冬季流感的传播：不仅是全美范围内，而且具体到特定的地区和州。

谷歌如何做到的呢？数据。

谷歌通过观察人们在网上的搜索记录来完成这个预测，谷歌保存了多年来所有的搜索记录，每天都会超过30亿条的搜索指令。如此庞大的数据资源才能支撑谷歌完成这项工作。

二、facebook。

Facebook（脸书）是美国的一个社交网络服务网站 ，创立于2004年2月4日，总部位于美国加利福尼亚州帕拉阿图，2012年3月6日发布Windows版桌面聊天软件Facebook Messenger ，主要创始人马克·扎克伯格。它是世界排名领先的照片分享站点，截至2013年11月每天上传约3.5亿张照片、截至2012年5月，拥有约9亿用户。Facebook的总部设在硅谷的门洛帕克（Menlo Park）——1 Hacker Way 从2006年9月11日起，任何用户输入有效电子邮件地址和自己的年龄段，即可加入。在2015年8月28日，单日用户数突破10亿。

fancebook，拥有这庞大数据，同时它也不会浪费这些数据。Facebook通过用户社交网络图得知人们的喜好、

说完了，我们转过头看一下我们国内。

大数据现今在国内也是蓬勃发展，让我让数据说话！

大数据企业发展态势

态势一：2017年，我国大数据企业依旧整体呈现“金字塔”状的实力分布，从金字塔上层来看，我国大数据企业发展指数高于50的企业数量占比仅为7.4%，与去年相比，中高区间的龙头企业发展指数均有不同程度的提升，体现出“强者恒强”的发展势头。2017年，随着新晋企业数量增多、初创企业发展活力不断提升，金字塔根基更趋稳固；专精特新的独角兽企业发展势头迅猛，成为我国大数据企业发展的中坚力量。

态势二：2017年，我国大数据企业基础画像指数呈现较为明显的三重集团趋势，可以分为领军企业（数量占比9.23%，指数跨度从62.50到10.46）、中坚企业（数量占比29.49%，指数跨度从9.89到1.00）、上升企业（数量占比为50.16%，指数跨度从0.98到0.001）三类企业。从构成占比上看，2017年，我国大数据领军企业占比基本维持不变，而中坚企业占比显著增加，上升企业比例对比2016年有较为明显的减少。

态势三：2017年，我国大数据企业技术研发指数呈现“龙头领先、中小微主体跟进”总体趋势，技术研发指数超过10的龙头企业数量占比为9.85%，低于10的企业占比达到90.15%。大数据企业技术研发指数平均值为4.06，同比2016增长了3.18%，其中，以华为、中兴等通信企业和BAT等互联网企业为代表的TOP20龙头企业的技术研发指数同比2016年增长了5.73%。

态势四：2017年，我国大数据企业市场拓展指数呈现出“龙头带动、全面壮大”的分布格局，我国大数据企业市场拓展指数小于30的企业数量占到92.88%，指数超过30的大数据企业占比为7.12%。与2016年相比，龙头企业依旧强势引领大数据市场，中间企业及长尾企业亦积极拓展市场版图，行业整体呈稳步发展态势。

态势五：2017年，大数据企业尤其是骨干企业发展集聚态势进一步强化，绝大多数企业集聚在北京、天津、山东、江苏、浙江、上海、广东、福建等东部沿海信息技术产业基础较好的省市。与2016年相比，东北、中西部等重点城市，以及乌鲁木齐、呼和浩特等地的大数据企业集聚化趋势日益明显。

态势六：2017年，我国产业环节大数据企业聚焦数据采集、数据存储、数据预处理、数据分析、数据可视化、数据流通，跨度从19.48到6.87，发展指数相对比较均衡，数据分析环节企业发展指数水平相对突出，发展指数达到19.48，数据大数据分析挖掘环节必将涌现出更多的独角兽企业。与2016年相比，大数据分析环节指数增长3.8，其他环节指数均有不同程度下降。

态势七：2017年，我国重点行业大数据产业企业聚焦政务、工业、健康医疗、交通、农业、金融、教育、能源等17个行业领域，企业平均发展指数为23.36，最高的安防大数据企业发展指数达到35.71，最低的能源大数据企业发展指数为16.89。与2016年相比，主要行业大数据企业平均发展指数同比增加了0.25，大多数行业发展指数都稳中有进，除安防领域初步定型，同比2016年降低了4.01，其他重点行业领域指数均有不同程度上升。

态势八：2017年，我国特色细分领域大数据企业主要分为三大阵营，与2016年相比，三大阵容的特色细分领域发生了明显变化。一是从事人工智能相关的龙头企业处于第一阵营，平均发展指数维持在21左右；二是从事工控安全、数据库、区块链、征信分析、商业智能BI、数据中心IDC、数据营销、基因测序等10类细分领域大数据相关业务的龙头企业处于第二阵营，平均发展指数处于13.97到17.78之间；三是以虚拟现实、开源技术和车联网为代表的第三阵营，整体发展指数相对略低，处于12左右。

进过调研分析，我们可以作出预判

2018年我国大数据产业发展的主要趋势有：

1、产业将持续保持快速增长态势。预计2018年我国大数据核心产业规模将突破5700亿元。

2、融合渗透效应向更深层次延伸。延伸方向既包括经济运行、社会生活等应用领域，也包括物联网、人工智能等关联技术。

3、制造业数字转型作用日益凸显。以大数据驱动制造业数字化转型的新模式、新业态将不断涌现。

4、技术创新仍是产业发展主基调。大数据领域核心关键技术将加速突破，跨学科、跨领域交叉融合技术研究将成为发展重点。

5、产业集聚特色化发展态势逐步显现。国家大数据综合试验区建设的不断深入，一批省级大数据产业集聚区将进一步优化资源配置、形成集聚效应、发挥辐射带动作用。

6、产业生态体系迈入成熟完善阶段。大数据相关政策将加快落地实施，更多创新性政策将加快出台，大数据产业发展环境将进一步优化。

区域大数据产业发展态势：

态势一：2017年，国家大数据综合试验区依然引领产业发展，其所在区域的大数据产业发展总指数在全国大数据产业发展总指数的占比达37.54%。试验区内各省市指数较去年增幅均值为6.23，高于全国增幅均值的5.78，大数据产业发展速度高于全国平均水平。

态势二：2017年，大数据产业集聚发展效应进一步凸显，长三角地区、珠三角地区、中西部地区和东北地区大数据产业集聚发展格局基本形成。

态势三：2017年，北京、江苏、广东、浙江、上海等五省市成为大数据产业发展第一梯队，其大数据发展总指数在全国大数据发展总指数的占比高达26.52%，领先的优势地位明显。浙江省大数据产业发展指数较去年增长12.71，成为全国大数据产业发展指数增幅最高城市。

态势四：2017年，我国东部、西部、中部、东北四个分区产业发展差异化明显。东部地区整体发展水平最高，大数据产业发展指数增幅均值为7.39，远超全国平均水平5.78，天津、河北、海南排名上升；西部地区未来仍有巨大发展空间，重庆大数据产业发展指数较去年增长10.12，增幅仅次于浙江省位列全国第二，宁夏、内蒙古二地成后起之秀；中部地区整体发展速度高于西部和东北，山西发力大数据产业，排名明显提升。东北地区辽宁继续蝉联区域榜首，辐射带动作用逐步凸显。

态势五：2017年，各省市大数据产业发展环境均呈现向好态势，各省市的发展环境平均指数为10.9，较去年提高32.9%，18个省市的发展环境指数高于平均值，占比达到58%，而发展环境指数在去年平均值以上的省市高达30个；同时，江苏、重庆、安徽等地由于组织机制进一步完善、区域信息化水平加速提升等因素影响，较去年排名增速明显。

态势六：2017年，全国各省市大数据产业发展水平均有提升，大数据产业发展总指数为363.9，较去年提升16.8%；

但受数据集聚开放水平、大数据产业规模、大数据企业主体等多种因素共同影响，各省...

科技后时代

据Gartner研究表明，人工智能、物联网等助力下一代商业创新，由此产生大量数据，2020年前企业将使用超过75亿台联网设备。这种转变或将推动从联网汽车、智能无人机到制造、智能零售等下一代科技发展。更多数据需要实时分析，IDC发布的“数据时代2025”研究表明，到2025年，约20%的数据将是实时数据，无需发回到网络中心进行处理。这意味着企业将建立自己的集中式云计算架构，并加强在边缘处理和存储更多数据的能力。

全球创新存储公司希捷研究认为，在边缘计算模型下，由于大多数知识来自靠近数据源的本地，数据分析仅部分依赖于网络带宽。以往，大型传统数据中心一直是网络计算和连接的支柱，几乎所有数据都在一个核心集中处理。然而，物联网技术和支持AI的应用需要在边缘进行计算，由此影响未来数据中心的建设规模与位置。随着边缘计算的兴起，更多小型数据中心将建在靠近城市和商业区等地方。区域市场和较小的城市可能会有更多存储中心，以及固定在电信塔等现有通信基础设施上的微型数据中心。另外，微型数据中心可以部署在现有无线网络的电信塔和其他重要位置上。未来大量的数据中心也将不再像如今的数据中心般拥有大型仓库的规模。

（文/广州日报全媒体记者文静）

亲爱的读者，如果你知道任何关于科技前沿的猛料，欢迎将新闻线索发至：gzrbkc@126，我们将有专人进行回复和处理。

如果有一张上千行的销售表，像下图（各个地区按天统计的1至12月的物品销量），要统计每个月，每个地区的数据，当看到上千行的数据，是不是发愁无从下手呢，利用数据透视表，轻松搞定。

1、选中数据表中任意单元格，点击工具栏插入——数据透视表。弹出创建透视表对话框，点击确定。

2、在右边数据透视表字段对话框添加字段，这里勾选订购日期、地区、分类、销售额和成本。字段勾选根据数据分析的要求勾选。

勾选后，左边单元格会生成下图所示数据表。

3、但是日期是按天来统计，我们需要的是按月统计，选中行标签统计的某一天的单元格，例如2015/1/24，右键创建组，在组合对话框中，选择月，确定。

4、确定后生成下图所示的统计表，但是原始数据没有统计利润，这里我们为了说明问题，我们简单统计利润。

5、增加字段，统计利润，假设利润为销售额减去成本，点击数据透视表工具的分析菜单选项。

6、点击字段、项目和集——计算字段。

7、在插入计算字段对话框中，名称填写利润，公式填写=销售额-利润，确定。

8、则上千行的数据按月份统计完成。

这里只是数据透视表的基本用法，数据透视表还可以排序、筛选，还可以转换称图表，还有很多更强大用途。

文 | 米格 零和

据知情人士透露，最近大数据行业，有大量从业者被警方带走调查。

他们大多涉及冒充“公检法”的电信诈骗，过度营销或者数据外泄。

就连新三板上市公司北京瑞智华胜科技股份有限公司(下称“瑞智华胜”)也涉及其中，其核心控制人因窃取30亿条公民信息，被警方带走。

“全国都在对数据行业进行整治。”知情人士透露，“这一次，可能比去年5月份的整治更严厉。”

行业正处在“从野蛮走向正规”的阵痛和动荡期……

01风声鹤唳

最近的数据行业，风声鹤唳。

“很多公司的人都被警方带走调查。”知情人士于佳透露，“现在已确定的，有八大征信机构中的一家、知名咨询公司艾瑞，还有一家支付公司和一家即将上市的大数据公司。”

“实际被调查的公司可能有十几家，甚至更多，只是消息还没传出来。”多位从业者称。

而最近，警方跨省抓捕，将北京一家大数据公司的人带走。

11月初，一本财经记者前往这家大数据公司核实，发现该公司只剩下5个人，其他座位空无一人。

而他们也拒绝再和新的客户合作。

跨省抓捕也不再是新鲜事，对网络安全的维护，让属地属性，已变得不再重要。

7月3日，绍兴越城警方的二十多位民警，在属地警方配合下，对北京的新三板上市公司“瑞智华胜”的涉案人员实施了抓捕。

6位犯罪嫌疑人被抓获，但公司实际控制人、主要犯罪嫌疑人邢某逃逸。

2017年6月1日，《网络安全法》开始实施。在此前的5月，有关部门对大数据行业就有过一轮大整治。

于佳称，最近对大数据行业的严打，力度比去年5月更大。

在《网络安全法》实施一年多之后，严打行动，也开始了最后的收网……

02数据外泄

这一波的严打和抓捕，主要是因为什么？

“最近有很多伪造成公检法人员的电信诈骗事件，而诈骗分子利用的，就是流出的网格照片。”于佳称。

什么是网格照片？

就是公安身份查询接口返回的高清网纹身份证照片。

按照规定，这些带网格的照片，只有一个正规的官方授权出口，就是“中证永通”。

但实际上，有些公司从正规的出口拿到这些照片后，进行了本地缓存，再转手将照片二次出售。

“缓存库”，就是黑产数据的一个巨大出口。

这些带网格的照片，被“电信诈骗”用到了极致。

一位用户举报称，他接到过这种诈骗电话，对方说是快递公司，发现他的快递里有毒品，表示警方会介入。

接着就会有自称警方的人联系他，并给他一个“公检法”的网址。在上面，只要输入他的身份信息，就能看到一个“通缉令”。

“上面就是我带网格的身份证照片，极为真实。”该用户称。

接着，对方就会让用户把资产转移到安全账户接受调查，“否则就立即抓捕。”

大量的用户因此受骗。

“首先，是因为照片真实；其次，是因为大家对公检法畏惧。”于佳称，“经常有人被骗数千万元，甚至有人被骗上亿元。”

但抓捕这些犯罪团伙极难，他们很多都在境外操作，如东南亚、日本。

于是，有关部门工作的重心，就放在了追踪数据源头上。

而这次被调查的平台，很多都涉及“网格照片”的流出。

“之所以牵连出这么多公司，是因为其中一家被调查机构的高管，为了戴罪立功，供出了其他家公司。”于佳称，这连锁性地，引发了行业大地震。

严打的另一个原因，就是公民数据的外泄和滥用。

“对于大数据行业的管理和定义，还存在很多模糊的边界。”接近监管的知情人士透露，所以，现在还有很多公司采取“撞线式”操作。

瑞智华胜就是一个典型案例。

他们最早通过竞标，和运营商合作，给他们提供精准营销的服务。

获取远程登录权限后，他们就偷偷在运营商系统中装上木马和插件，将用户的cookie采集下来。

什么是cookie？

就是储存在用户本地终端上的数据，比如账号和密码。

而他们掌握了cookie后，就可以操控账户做各种事。

所以，被窃取cookie的用户，就发现了一个奇怪的现象：自己的微博，莫名其妙就关注了某个账号，QQ稀里糊涂加入了某个群，抖音突然关注了某个网红……

警方公布的消息称，此案被盗用的用户信息，多达30亿条。

去年上市的瑞智华胜，年盈利过千万，其中不知有多少是靠着操作这些账号而来的黑暗获利。

最近，对于外泄数据的滥用，已到了令人发指的地步。

“用了三年以上的手机号码，几乎没法使用，平均每半个小时，就会接到一个营销电话。”于佳称。

监管对此，当然不会坐视不理。

整个数据行业，都进入了一个生死攸关的节点。

03数据洗牌

在这样的监管之下，大数据行业，正在呈现极快的洗牌趋势。

以前的大数据行业，其实存在很多所谓的“黑产数据的搬运工”公司。

它们表面高大上，号称高科技，其实就是收集黑产数据，要么自己养一帮黑客去盗取，要么去黑市上购买。

拿到这些数据后，它们再进行清洗，装成“桶装水”卖出去。

但新的安全法颁布后，如果还想操作原来的业务，无疑是“刀尖上跳舞”。

对于它们来说，目前只有两条路可走：要么洗白，要么退场。

“它们洗白的方式，无非就是两种，一种是把数据销毁，一种是获得牌照或资质，将数据获取的途径合法化。”业内人士余浩称。

而很多大数据公司，踩中了时代的红利，甚至靠着“桶装水”生意上了市，或者即将上市。

它们已经成功洗白。

但大多数做得不大不小的公司，既不可能获得牌照和资质，也不可能上市。它们只能“退场”。

“起码一半的大数据公司已经出局。”余浩称。

余浩所在的，是一家只有二十多人的风控公司，目前工资都快发不下来了。

“数据毫无竞争力，也不敢冒然做一些业务，整个数据行业的利润都下来了。”他表示。

多位从业者称，在大数据公司的这轮洗牌之后，起码有90%的公司要被清理。

大数据行业，一直由两部分组成。

一部分在地上，一部分在地下。

地上的部分正在被修剪整治，有趣的是，地下的部分，却又发展出新的根系和脉络。

黑客CC称，最近的地下黑产链条，出现了非常大的变动。

“现在的数据中间商变得极为精明，只招待熟客，且会按照你的需求，定制化地提供数据。”

这是因为，漫天撒网的捞客模式，风险太高。

“客户很有可能就是卧底的警方或记者。”CC称，黑产开始变得小心翼翼。

但是，只接待熟客，又怎么增加收入呢？

那就只能提供更好的服务，要更高的价钱。

比如，一个诈骗团伙，要求只要年轻女性、存款100万元，并且有定期社保、车、房，中间人就给找这种，但一条数据，单价要100元以上。

而每类诈骗需求的信息不一样。

譬如，机票退款诈骗，需要的是近期公民订机票的数据；股票诈骗，需要的是有大额存款且有股票投资需求的人群数据。

CC称，现在，一个未加工的原始数据包，价格极低，“一万条数据，只值几百元”。

但经过清洗和分类之后，其价格可以暴涨几十倍，甚至上百倍。

当原本承担这个工作的大数据公司，都忙于洗白和脱身，黑产就开始自我进化。

“现在黑产出现了很多小工作室，专门清洗数据和分类。”CC称，他们赚的钱，甚至比原来要高很多。

黑产数据的分类分层，象征着黑产也从蛮荒时代，进入了精细化运营的时代。黑产数据在被加工和清洗之后，将呈现出更强大的“杀伤力”。

大数据行业正处于一个过渡期。

从原来的草莽和无边界，到现在的肃清和规则重建，这其中，必然有一个残酷的阵痛期。

一位监管人士透露，这个阵痛期，可能不是一两年那么短，而是五年，甚至十年……

（应受访者要求，文中部分人物为化名）